⏶35
一个领域能否帮助其他领域？一项关于通过强化学习进行多领域推理的数据驱动研究
发表
由 
YU LI 提交
YU LI 提交作者: Yu Li, Zhuoshi Pan, Honglin Lin, 
Mengyuan Sun, Conghui He, Lijun Wu
Yu Li, Zhuoshi Pan, Honglin Lin, Mengyuan Sun, Conghui He, Lijun Wu摘要
可验证奖励强化学习（RLVR）已成为增强大型语言模型（LLMs）推理能力的一种强大范式。现有研究主要集中在孤立的推理领域，例如数学问题解决、编程任务或逻辑推理。然而，现实世界的推理场景本质上需要多种认知技能的综合应用。尽管如此，在强化学习下这些推理技能之间的相互作用仍知之甚少。为了弥补这一差距，我们提出了在RLVR框架内对多领域推理进行系统性研究，明确关注三个主要领域：数学推理、代码生成和逻辑谜题求解。我们进行了一项包含四个关键组成部分的综合研究：(1) 利用GRPO算法和Qwen-2.5-7B模型系列，我们的研究在模型在单领域数据集上训练时，彻底评估了其领域内改进和跨领域泛化能力。(2) 此外，我们研究了在组合式跨领域训练期间出现的复杂交互作用，包括相互增强和冲突。(3) 为了进一步理解SFT对RL的影响，我们还在相同的RL配置下分析和比较了基础模型和指令模型之间的性能差异。(4) 此外，我们深入探讨了关键的RL训练细节，系统地探索了课程学习策略、奖励设计变体以及语言特定因素的影响。通过广泛的实验，我们的结果为领域交互的动态提供了重要见解，揭示了影响专业化和通用化推理性能的关键因素。这些发现为优化RL方法以培养LLMs全面的多领域推理能力提供了宝贵的指导。
可验证奖励强化学习（RLVR）已成为一种强大的范式，用于增强大型语言模型（LLMs）的推理能力。现有研究主要集中在孤立的推理领域，例如数学问题解决、编程任务或逻辑推理。然而，现实世界的推理场景本质上需要多种认知技能的综合应用。尽管如此，在强化学习下这些推理技能之间的相互作用仍然知之甚少。为了弥补这一空白，我们提出了在RLVR框架内对多领域推理进行系统性研究，明确关注三个主要领域：数学推理、代码生成和逻辑谜题解决。我们进行了一项全面的研究，包括四个关键组成部分：(1) 利用GRPO算法和Qwen-2.5-7B模型家族，本研究全面评估了模型在单一领域数据集上训练时的域内改进和跨域泛化能力。(2) 此外，我们考察了在组合跨领域训练中出现的复杂交互，包括相互增强和冲突。(3) 为了进一步理解SFT对RL的影响，我们还在相同的RL配置下分析和比较了基础模型（base models）和指令微调模型（instruct models）之间的性能差异。(4) 此外，我们深入探讨了关键的RL训练细节，系统地探究了课程学习策略、奖励设计变体以及特定语言因素的影响。通过广泛的实验，我们的结果为领域交互的动态提供了重要见解，揭示了影响专业化和泛化推理性能的关键因素。这些发现为优化强化学习方法以培养LLMs的全面、多领域推理能力提供了宝贵指导。