⏶4
通过 System-2 策略解析大语言模型大规模计数机制的可解释性
发表
由 
Ali Nafisi 提交
Ali Nafisi 提交作者: Hosein Hasani, Mohammadali Banayeeanzade, Ali Nafisi, Sadegh Mohammadian, Fatemeh Askari, Mobin Bagherian, Amirmohammad Izadi, Mahdieh Soleymani Baghshah
Ali Nafisi, Sadegh Mohammadian, Fatemeh Askari, Mobin Bagherian, Amirmohammad Izadi, Mahdieh Soleymani Baghshah摘要
AI 生成总结
一种受系统 2（System-2）认知过程启发的测试时策略，将大型计数任务分解为较小的子问题，使大语言模型能够通过潜变量计数计算、专用注意力头和最终聚合阶段等机制性组件，克服架构局限性并在复杂计数任务中实现高准确度。尽管大语言模型（LLMs）在处理复杂数学问题上表现强劲，但在计数任务中却表现出系统性的局限性。这一问题源于 Transformer 的架构限制，即计数是在层间执行的，由于深度约束，导致处理较大计数问题时精度下降。为了解决这一局限，我们受到 System-2 认知过程的启发，提出了一种简单的测试时策略，将大型计数任务分解为模型可以可靠解决的小型、独立的子问题。我们利用观察和因果中介分析来评估该方法，以理解这种类 System-2 策略的底层机制。我们的机制分析确定了关键组件：潜在计数在每个部分的最终项表示中计算并存储，通过专用注意力头转移到中间步骤，并在最后阶段聚合产生总计数。实验结果表明，该策略使 LLMs 能够超越架构限制，在大规模计数任务上实现高精度。这项工作为 LLMs 中的 System-2 计数提供了机制洞察，并为改进和理解其推理行为提供了一种可推广的方法。
🔢 克服计数任务中 Transformer 的深度限制
LLM 在计数任务中表现不佳，往往不是因为不够聪明，而是受限于架构深度约束 🚧。我们提出了一种简单有效的 System-2 策略 🧩，通过分解计数任务来绕过这些限制。
🔬 我们还提供了完整的机械可解释性分析，识别了负责在网络中传递“潜在计数”的特定注意力头和表示。
📈 这种方法使 LLM 能够在通常表现失败的大规模计数基准测试上实现高准确率。