推理模型更好地表达它们的置信度

尽管大型语言模型 (LLM) 具有优势，但它们通常无法准确地表达自己的信心，这使得难以评估它们何时可能出错，从而限制了它们的可靠性。在这项工作中，我们证明了推理模型（即进行扩展思维链 (CoT) 推理的 LLM）不仅在解决问题方面表现出色，而且在准确表达信心方面也表现更优。具体而言，我们在六个数据集上对六个推理模型进行了基准测试，发现在 36 种设置中有 33 种情况下，它们的信心校准比非推理模型更好。我们的详细分析显示，校准方面的这些改进源于推理模型的慢速思考行为——例如探索替代方法和回溯——这些行为使它们能够在整个 CoT 过程中动态调整信心，使其逐步更准确。特别是，我们发现推理模型随着 CoT 的展开而变得越来越好地校准，这一趋势在非推理模型中没有观察到。此外，从 CoT 中移除慢速思考行为会导致校准显著下降。最后，我们表明这些改进并非推理模型所独有——通过上下文学习引导进行慢速思考时，非推理模型也能从中受益。