DeepSeek-R1发布100天后：推理语言模型的复现研究及更多方向综述

推理语言模型 (RLM) 的最新发展代表了大型语言模型的一种新颖演进。特别是，DeepSeek-R1 最近的发布产生了广泛的社会影响，并激发了研究界探索语言模型显式推理范式的热情。然而，DeepSeek 并未完全开源已发布模型的实现细节，包括 DeepSeek-R1-Zero、DeepSeek-R1 和蒸馏后的小型模型。因此，出现了许多旨在复现 DeepSeek-R1 强大性能的复现研究，通过类似的训练流程和完全开源的数据资源取得了可媲美的性能。这些工作研究了监督微调 (SFT) 和基于可验证奖励的强化学习 (RLVR) 的可行策略，侧重于数据准备和方法设计，产生了各种有价值的见解。在本报告中，我们总结了最近的复现研究，以启发未来的研究。我们主要关注 SFT 和 RLVR 这两个主要方向，介绍了当前复现研究的数据构建、方法设计和训练流程的细节。此外，我们总结了这些研究报告的实现细节和实验结果的关键发现，希望能启发未来的研究。我们还讨论了增强 RLM 的其他技术，强调了扩大这些模型应用范围的潜力，并讨论了开发中的挑战。通过这项调查，我们旨在帮助 RLM 的研究人员和开发者及时了解最新进展，并寻求启发新思路，进一步增强 RLM。