⏶29
分析思维链动力学：主动引导还是不忠实的 事后合理化？
发表
由 
Xingwei Tan 提交
Xingwei Tan 提交作者: 
Samuel Lewis-Lim, Xingwei Tan, Zhixue Zhao, Nikolaos Aletras
Samuel Lewis-Lim, Xingwei Tan, Zhixue Zhao, Nikolaos Aletras摘要
近期研究表明，在分析和常识推理等软推理问题上，思维链（Chain-of-Thought，CoT）的提升效果通常有限。
CoT 还可能无法忠实地反映模型的实际推理过程。我们研究了指令微调模型、推理模型以及推理蒸馏模型在软推理任务中 CoT 的动态和忠实性。我们的发现
揭示了这些模型在依赖 CoT 方式上的差异，并表明 CoT 的影响力和忠实性并不总是保持一致。
本文基于指令微调、多步推理和蒸馏推理模型，研究了 CoT 在软推理任务上的忠实性。我们设计了两个实验：1) 在中间推理步骤中强制回答以衡量黄金答案的置信度；2) 添加提示来误导模型，以衡量黄金答案置信度的方差。我们发现 CoT 通常是指令微调 LLM 的事后辩护，但蒸馏推理 LLM 在很大程度上依赖 CoT。此外，我们发现不忠实的 CoT 仍然可以提供积极的指导。
这项工作已被 EMNLP 2025（主会）录用。