扩展推理，失去控制：评估大型推理模型中的指令遵循能力

指令遵循对于使大型语言模型（LLMs）与用户意图对齐至关重要。虽然最近的面向推理的模型在复杂数学问题上表现出色，但它们遵循自然语言指令的能力仍未得到充分探索。在这项工作中，我们引入 MathIF，一个专门用于评估数学推理任务中指令遵循能力的基准。我们的实验分析揭示了扩展推理能力和保持可控性之间持续存在的矛盾，推理更有效的模型往往难以遵守用户指令。我们发现，在蒸馏的长思维链上微调的模型或使用面向推理的强化学习训练的模型，其指令遵循能力常常下降，特别是在生成长度增加时。此外，我们表明即使简单的干预也能部分恢复依从性，尽管以牺牲推理性能为代价。这些发现凸显了当前 LLM 训练范式中的一个基本矛盾，并促使需要更多具有指令意识的推理模型。我们在 https://github.com/TingchenFu/MathIF 发布了代码和数据。