一次性部署：用策略梯度指导 LLM 的监督微调

监督微调（SFT）是适应大型语言模型（LLMs）的主流方法，但与强化学习（RL）相比，它在泛化能力方面常常存在不足。在这项工作中，我们提出这种性能差异不仅仅源于损失函数，而是源于一个更根本的区别：SFT从固定、预先收集的数据集中学习，而RL则利用从当前策略中采样的on-policy数据。基于这一假设，我们引入了单token回放（OTR），这是一种新颖的微调算法，通过策略梯度方法指导SFT。OTR通过将每个token的生成视为一个单步强化学习轨迹，重塑了自回归学习过程。在每一步，它通过从当前策略的分布中采样多个候选token来执行蒙特卡洛“回放”。然后，将监督数据中的真实token用于为这些样本提供奖励信号。在策略梯度的指导下，我们的算法将静态的、off-policy的监督数据重新用于token级别的动态的、on-policy信号，从而捕捉到on-policy学习的泛化优势，同时绕过了完整句子生成的昂贵开销。通过在跨越数学推理、代码生成和通用领域推理的各种具有挑战性的基准测试中进行广泛的实验，我们证明OTR始终优于标准的SFT。我们的发现确立了OTR作为一种强大实用的LLMs微调替代方案，并提供了有力的证据表明，数据的on-policy性质是泛化的关键驱动因素，为LLMs的微调提供了一个有前途的新方向。