思维链标记是计算机程序变量

思维链（CoT）要求大型语言模型（LLM）在得出最终答案之前生成中间步骤，并且已被证明能有效帮助 LLM 解决复杂的推理任务。然而，CoT 的内部机制在很大程度上仍然不清楚。在本文中，我们通过实证研究了 CoT 标记在 LLM 中在两个组合任务上的作用：多位数乘法和动态规划。虽然 CoT 对于解决这些问题至关重要，但我们发现，仅保留存储中间结果的标记就能获得可比的性能。此外，我们观察到，以另一种潜在形式存储中间结果不会影响模型性能。我们还随机干预了 CoT 中的一些数值，并注意到随后的 CoT 标记和最终答案会相应地发生变化。这些发现表明，CoT 标记可能类似于计算机程序中的变量，但也存在潜在缺点，例如意外的捷径以及标记之间的计算复杂度限制。代码和数据可在 https://github.com/solitaryzero/CoTs_are_Variables 获取。