元意识增强推理模型：自对齐强化学习

近期关于推理模型的研究探讨了语言模型的元认知能力，即模型自主思考的能力。我们认为，通过证明真实序列回溯与预测的元信息之间存在严重的错配，大型推理模型缺乏这种元认知能力。我们提出，将元预测与真实序列回溯对齐将带来显著的性能提升。为了验证这一假设，我们设计了一个通过自对齐增强元认知（MASA）的训练流程，并证明增强的元认知能力可以直接转化为更高的准确率。与现有的元认知推理模型不同，我们的方法不需要外部训练源，而是利用自生成信号来训练元认知。此外，我们的方法通过 i) 过滤掉方差为零（即平凡或无解）的提示，以及 ii) 在序列不太可能导致正确答案时截断冗长的回溯，实现了高效训练。结果令人鼓舞：我们的策略在领域内任务的准确性和训练效率方面都取得了显著的改进，并且对领域外基准测试表现出了强大的泛化能力。具体来说，我们的方法可以将 GRPO 训练速度提高 1.28 倍以上以达到相同的性能，并在 AIME25 上将准确率提高了 19.3%，在六个数学基准测试上平均提高了 6.2%。元认知引导的训练增强了领域外泛化能力，在 GPQA-Diamond 上提高了 3.87%，在涵盖逻辑、科学和编码领域的 13 个基准测试上整体准确率提高了 2.08%。