ARM：自适应推理模型

虽然大型推理模型在复杂任务上表现出色，但它们缺乏根据任务难度调整推理 token 使用量的能力。这通常会导致“过度思考”问题——过度和不必要的推理——尽管可以通过人工干预控制 token 预算来缓解，但这从根本上违背了实现完全自主人工智能的目标。在这项工作中，我们提出了自适应推理模型 (ARM)，这是一种能够根据手头的任务自适应选择适当推理格式的推理模型。这些格式包括三种高效格式——直接答案、短 CoT 和代码——以及一种更详细的格式，长 CoT。为了训练 ARM，我们引入了 Ada-GRPO，它是 Group Relative Policy Optimization (GRPO) 的一种改进，解决了传统 GRPO 中的格式崩溃问题。Ada-GRPO 使 ARM 能够实现高 token 效率，平均减少 30%，最多可减少 70% 的 token，同时保持与仅依赖长 CoT 的模型相当的性能。此外，它不仅通过减少 token 生成提高了推理效率，还在训练中带来了 2 倍的加速。除了默认的自适应模式外，ARM 还支持两种额外的推理模式：1) 指令引导模式，允许用户通过特殊 token 显式指定推理格式——这在已知一批任务的适当格式时非常理想。2) 共识引导模式，聚合三种高效格式的输出，并在意见不一致的情况下诉诸长 CoT，在增加 token 使用量的同时优先保证性能。