追踪痕迹：高效准确推理的潜在时间信号

推理模型通过推理时（inference-time）缩放来提高其问题解决能力，通过更长的 token 预算来分配更多计算资源。识别哪些推理轨迹可能成功仍然是一个关键的机会：可靠地预测有效的路径可以大大减少计算浪费并提高整体效率。我们引入了潜在轨迹（Latent-Trajectory）信号，该信号表征了模型在生成中间推理 token 过程中内部表示的时间演变。通过测量推理开始和结束之间潜在表示的整体变化、跨中间步骤累积的变化以及这些变化在多大程度上朝着最终状态前进，我们表明这些信号比交叉层度量（cross-layer metrics）和基于输出的置信度度量（output-based confidence measures）更可靠地预测解决方案的准确性。当用于指导跨多个采样生成的答案选择时，潜在轨迹信号使得测试时（test-time）缩放比多数投票（majority voting）更有效和更高效，将 token 使用量减少高达 70%，同时在平均准确率上保持甚至提高 2.6%。此外，这些预测信号通常在推理轨迹的早期出现，从而能够及早选择并将计算资源分配给最有希望的候选者。我们的发现不仅为推理时效率提供了实用的策略，还为推理过程在潜在空间中的表示和区分提供了更深层次的可解释性视角。