思维锚点：哪些LLM推理步骤是关键？

推理大型语言模型最近在许多领域取得了最先进的性能。然而，它们的长期思维链推理带来了可解释性挑战，因为每个生成的token都依赖于所有先前的token，使得计算更难分解。我们认为，在句子层面分析推理轨迹是理解推理过程的一种有前景的方法。我们提出了三种互补的归因方法：（1）一种黑盒方法，通过比较模型生成该句子或含义不同的句子时100次运行的最终答案来衡量每个句子的反事实重要性；（2）一种白盒方法，聚合句子对之间的注意力模式，该方法识别出通过“接收器”注意力头从所有未来句子中获得不成比例关注的“广播”句子；（3）一种因果归因方法，通过抑制对一个句子的注意力并测量对每个未来句子token的影响来衡量句子之间的逻辑连接。每种方法都为思维锚点的存在提供了证据，这些思维锚点是具有突出重要性并对后续推理过程产生不成比例影响的推理步骤。这些思维锚点通常是规划或回溯句。我们提供了一个开源工具（www.thought-anchors.com）用于可视化我们方法的输出，并提出了一个案例研究，展示了跨方法的一致模式，这些模式描绘了模型如何执行多步推理。方法之间的一致性证明了句子层面分析在更深入理解推理模型方面的潜力。