⏶12
SRFT：一种结合监督学习和强化学习微调的单阶段推理方法
发表
由 
SONGJUN TU 提交
SONGJUN TU 提交作者: 
Yuqian Fu, Tinghong Chen, Jiajun Chai, Xihuai Wang, Songjun Tu, Guojun Yin, Wei Lin, Qichao Zhang, Yuanheng Zhu, Dongbin Zhao
Yuqian Fu, Tinghong Chen, Jiajun Chai, Xihuai Wang, Songjun Tu, Guojun Yin, Wei Lin, Qichao Zhang, Yuanheng Zhu, Dongbin Zhao摘要
大型语言模型（LLM）在推理任务中取得了显著进展，但监督微调（SFT）和强化学习（RL）的最佳集成仍然是一个基本挑战。通过从基于熵的角度对 token 分布、学习动态和集成机制进行全面分析，我们揭示了这些范式之间的关键差异：SFT 诱导 LLM 策略分布的粗粒度全局变化，而 RL 执行细粒度选择性优化，其中熵是训练有效性的关键指标。基于这些观察，我们提出了监督强化微调（SRFT），一种通过熵感知加权机制统一两种微调范式的单阶段方法。我们的方法同时应用 SFT 和 RL，直接使用演示和自我探索 rollouts 优化 LLM，而不是通过两阶段顺序方法。大量实验表明，SRFT 在五个数学推理基准测试中达到了 59.1% 的平均准确率，比零 RL 方法高出 9.0%，在三个分布外基准测试中高出 10.9%。
监督强化微调（SRFT）通过熵感知加权将监督微调和强化学习相结合，以增强推理能力。
项目网站：https://anonymous.4open.science/w/SRFT2025