用于可追溯诊断推理的端到端 Agentic RAG 系统训练

医学大型语言模型在准确诊断方面受到知识差距和幻觉的阻碍。检索和工具增强方法有所帮助，但它们的影响受到外部知识使用不足和反馈-推理可追溯性差的限制。为了解决这些挑战，我们介绍了 Deep-DxSearch，这是一个通过强化学习（RL）进行端到端训练的代理 RAG 系统，它为医学诊断实现了可溯源的检索增强推理。在 Deep-DxSearch 中，我们首先构建了一个包含患者记录和可靠医学知识来源的大规模医学检索语料库，以支持跨诊断场景的检索感知推理。更重要的是，我们将 LLM 视为核心代理，将检索语料库视为其环境，使用针对格式、检索、推理结构和诊断准确性的定制奖励，从而通过 RL 从大规模数据中演化代理 RAG 策略。 实验表明，我们的端到端代理 RL 训练框架在多个数据中心一致优于提示工程和无训练 RAG 方法。训练后，Deep-DxSearch 在诊断准确性方面取得了显著的提高，在分布内和分布外设置下，对于常见病和罕见病诊断，都超越了 GPT-4o、DeepSeek-R1 等强诊断基线以及其他医学特定框架。此外，对奖励设计和检索语料库组件的消融研究证实了它们的关键作用，突显了我们方法与传统实现相比的独特性和有效性。最后，案例研究和可解释性分析突出了 Deep-DxSearch 诊断策略的改进，提供了对其性能提升的更深入见解，并支持临床医生提供更可靠、更精确的初步诊断。请访问 https://github.com/MAGIC-AI4Med/Deep-DxSearch。