AI论文精选
⏶7

DynamicRAG: 利用大语言模型输出作为反馈，实现检索增强生成中的动态重排

发表
由 Jiashuo SunJiashuo Sun 提交
作者: Jiashuo SunJiashuo Sun, Xianrui Zhong, Sizhe Zhou, Jiawei Han

摘要

检索增强生成 (RAG) 系统结合大型语言模型 (LLM) 和外部知识检索，使其在知识密集型任务中表现出色。这些系统中的一个关键但常常被忽视的组成部分是重排序器，它对检索到的文档进行优化，以提高生成质量和可解释性。选择最优文档数量 (k) 的挑战仍未解决：文档太少可能遗漏关键信息，而太多则会引入噪声并降低效率。尽管最近的研究探索了基于 LLM 的重排序器，但它们主要依赖于模型内部知识，并忽略了 LLM 可以提供的丰富监督信号，例如将响应质量作为优化重排序决策的反馈。在本文中，我们提出了 DynamicRAG，这是一个新颖的 RAG 框架，其中重排序器根据查询动态调整检索到文档的顺序和数量。我们将重排序器建模为一个通过强化学习 (RL) 进行优化的智能体，并使用从 LLM 输出质量中获得的奖励。在七个知识密集型数据集上，DynamicRAG 表现出卓越的性能，取得了最先进的结果。模型、数据和代码可在 https://github.com/GasolSun36/DynamicRAG 获取。
查看 arXiv 页面查看 PDF

评论

Jiashuo SunJiashuo Sun
论文作者
论文提交者

很高兴分享我们的最新研究：DynamicRAG：利用大型语言模型的输出作为反馈，在检索增强生成中进行动态重排序 🚀📄🧠

你是否厌倦了 RAG 系统错过关键信息或淹没在噪音中？🤔 我们提出了 DynamicRAG，一种新颖的框架，其中重排序器会根据你的查询动态调整检索到的文档的顺序和数量！🤯✨

关键创新点：

🔄 动态重排序：不再是固定的 'k' 值！根据每个查询的需求进行调整。

🤖 RL智能体重排序器：使用强化学习进行优化，以 LLM 输出质量作为奖励。🎮🏆

🤝 联合训练：重排序器和生成器共同学习，以实现最佳协同效应。

📈 DynamicRAG 在七个知识密集型数据集上取得了最先进的结果！🏆🥇 性能超越现有方法，即使使用更少的训练数据！📊

告别静态重排序，迎接更相关、更高效、更高质量的生成！👋💡

🔗 论文链接： https://arxiv.org/abs/2505.07233

💻 代码和数据： https://github.com/GasolSun36/DynamicRAG

Jiashuo SunJiashuo Sun
论文作者
论文提交者

评估数据: https://huggingface.co/datasets/gasolsun/DynamicRAG-Eval-Data

DynamicRAG-7B: https://huggingface.co/gasolsun/DynamicRAG-7B

DynamicRAG-8B: https://huggingface.co/gasolsun/DynamicRAG-8B

训练数据将在未来几周内提供！