推理的几何学：表示空间中的流动逻辑

我们研究大型语言模型（LLMs）如何通过它们的表示空间进行“思考”。我们提出了一个新颖的几何框架，将LLM的推理建模为流——嵌入轨迹沿着逻辑方向演变。通过使用相同的自然推导命题和多样的语义载体，我们解耦了逻辑结构和语义，使我们能够测试LLM是否在表面形式之外内化了逻辑。这种视角将推理与诸如位置、速度和曲率等几何量联系起来，从而能够在表示和概念空间中进行形式化分析。我们的理论确立了：（1）LLM推理对应于表示空间中的平滑流，以及（2）逻辑语句充当这些流速度的局部控制器。我们利用学习到的表示代理，设计了受控实验来可视化和量化推理流，为我们的理论框架提供了实证验证。我们的工作为研究推理现象提供了概念基础和实用工具，为LLM的行为提供了新的可解释性和形式化分析视角。