ExGRPO：学习从经验中推理

可验证奖励强化学习 (RLVR) 是一种新兴的范式，用于提高大型语言模型的推理能力。然而，标准的联机训练在单次更新后会丢弃滚动体验，导致计算效率低下和不稳定性。虽然之前关于 RL 的工作强调了重用过去经验的好处，但经验特征在塑造大型推理模型的学习动态方面的作用仍未得到充分研究。在本文中，我们首次研究了什么使推理经验有价值，并将滚动正确性和熵确定为经验价值的有效指标。基于这些见解，我们提出了 ExGRPO (Experiential Group Relative Policy Optimization)，这是一个组织和优先处理有价值经验的框架，并采用混合策略目标来平衡探索与经验利用。对五个骨干模型（1.5B-8B 参数）的实验表明，ExGRPO 在数学/通用基准上始终提高了推理性能，比联机 RLVR 平均提高了 +3.5/7.6 分。此外，ExGRPO 稳定了在联机方法失败的更强和更弱模型上的训练。这些结果强调，原则性的经验管理是高效且可扩展的 RLVR 的关键组成部分。