推理模型是否更容易产生幻觉？

最近发展起来的大型推理模型（LRM）在解决需要长链思维（CoT）推理能力的复杂任务中表现出强大的性能。由于这些 LRM 主要通过在正式推理任务上进行后训练而开发，它们是否能泛化推理能力以帮助减少事实查询任务中的幻觉仍不清楚并存在争议。例如，DeepSeek-R1 报告在事实查询基准 SimpleQA 上性能有所提升，而 OpenAI-o3 则观察到更严重的幻觉。这种差异自然引出了以下研究问题：推理模型是否更倾向于产生幻觉？本文从三个角度探讨了这个问题。(1) 我们首先对 LRM 中的幻觉进行了整体评估。我们的分析表明，经过包含冷启动监督微调 (SFT) 和可验证奖励强化学习 (RL) 的完整后训练流程的 LRM 通常可以减轻其幻觉。相比之下，仅进行蒸馏以及没有冷启动微调的 RL 训练会引入更细微的幻觉。(2) 为了探究不同后训练流程如何改变对 LRM 幻觉的影响，我们进行了行为分析。我们描述了两种直接影响 LRM 事实性的关键认知行为：错误重复（Flaw Repetition），即表面上的推理尝试重复遵循相同的潜在错误逻辑；以及思维-答案不匹配（Think-Answer Mismatch），即最终答案未能忠实地匹配之前的 CoT 过程。(3) 此外，我们从模型不确定性的角度调查了 LRM 产生幻觉的机制。我们发现 LRM 幻觉的增加通常与模型不确定性和事实准确性之间的错位有关。我们的工作为理解 LRM 中的幻觉提供了初步的见解。