动力学：重新思考测试时缩放定律

我们从实际效率的角度重新思考了推理时扩展定律，揭示出小型模型的有效性被严重高估。先前基于计算最优性的工作，忽视了推理时策略（例如，N中选优、长思维链CoT）引入的关键内存访问瓶颈。我们对0.6B到32B参数模型的整体分析，揭示了一种新的动力学扩展定律（Kinetics Scaling Law），它通过结合计算和内存访问成本，能更好地指导资源分配。动力学扩展定律表明，当计算资源用于超过某个阈值的模型时，其推理时计算效率要高于用于小型模型。一个关键原因是，在推理时扩展中，注意力机制而非参数数量成为主导成本因素。受此启发，我们提出了一种以稀疏注意力为中心的新型扩展范式，它降低了每个token的成本，并在相同的资源预算内支持更长的生成和更多的并行样本。经验上，我们展示了稀疏注意力模型始终优于其密集对应模型，在AIME问题解决准确性方面，低成本方案中实现了超过60点的提升，高成本方案中实现了超过5点的提升，这包括对最先进的MoE模型的评估。这些结果表明，稀疏注意力对于实现推理时扩展的全部潜力至关重要，因为与训练中参数扩展趋于饱和不同，推理时准确性通过增加生成而持续提高。代码可在 https://github.com/Infini-AI-Lab/Kinetics 获取。