关于SFT泛化性的研究：一个带有奖励修正的强化学习视角

Yongliang Wu

我们提出了一种简单但具有理论基础的改进方法，用于大型语言模型（LLM）的监督微调（SFT），以解决其与强化学习（RL）相比泛化能力有限的问题。通过数学分析，我们发现标准SFT梯度隐式编码了一种有问题的奖励结构，这可能会严重限制模型的泛化能力。为了纠正这一点，我们提出了动态微调（DFT），通过使用此令牌的概率动态重新缩放目标函数来稳定每个令牌的梯度更新。值得注意的是，这一行代码的更改在多个具有挑战性的基准测试和基础模型上显著优于标准SFT，表现出大大改进的泛化能力。此外，我们的方法在离线RL设置中也显示出有竞争力的结果，提供了一种有效但更简单的替代方案。这项工作将理论洞察与实际解决方案相结合，极大地提升了SFT的性能。代码将在 https://github.com/yongliang-wu/DFT 提供。

Qing Li

干得好！

future.li

从现在起，全是DFT。

Li Dong

DFT 等同于最大化 p(y|x) 而非 log p(y|x) (SFT) 吗？

Vadim Kataev

不错的方法！我更愿意把这个直接放到摘要中，以节省读者的时间：

DFT 是对标准 SFT 的一行代码更改：将每个 token 的损失与其预测概率（分离以避免梯度流动）进行缩放。
loss = loss * torch.softmax(shiftlogits, dim=-1).gather(1, shiftlabels.unsqueeze(-1)).squeeze(-1).detach()

Hermione Granger

很棒的工作！SFT 到 RL 的连接令人惊叹（也很有直觉）。它表明 SFT 在隐式地使用一个不适定且极其稀疏的奖励函数来进行 RL 训练，而这项工作修复了它（尽管奖励仍然是“稀疏”的）。

顺便说一句，方程（8）似乎少了一个负号：)

Rin

使用 DFT 损失在 ms-swift 上训练数百个 LLM 和 MLLM

DFT 与 SFT 的一些结果比较

训练曲线

（DFT：红色，SFT：绿色）

MATH500 评估
脚本：https://github.com/yongliang-wu/DFT

脚本可以在此处找到

beiqing

7月8日，我独立得出了同样的结论，并推导出了与您完全相同的公式。当时，我立即在知乎上发布了这个想法。然而，由于我需要写一份专利申请，几天后我撤回了......当时，我证明了 SFT 和 RL 之间的等价性，以展示动态奖励的有效性。我通过证明动态策略熵可以集成离策略和在策略方法来实现这一点。

syzygy

有趣，

Kacper Głombiewski

很棒的工作，我可以在微调 gpt2/opt 时使用 DFT 而不是 SFT 吗？