分心效应：理解 RAG 中的不相关段落

检索增强生成（RAG）的一个众所周知的问题是，检索到的与查询不相关的段落有时会分散答案生成 LLM 的注意力，导致其提供不正确的响应。在本文中，我们阐明了这一核心问题，并形式化了段落相对于查询（以及 LLM）的干扰效应。我们提供了一种可量化的段落干扰效应衡量方法，并证明了其在不同 LLM 中的鲁棒性。我们的研究引入了识别和利用“硬干扰段落”的新方法，以改进 RAG 系统。通过使用这些精心选择的干扰段落对 LLM 进行微调，我们与在传统 RAG 数据集上微调的对应模型相比，问答准确率提高了高达 7.5%。我们的贡献是双重的：首先，我们超越了将不相关段落简单地二元分类为“完全不相关”还是“干扰”，其次，我们开发并分析了多种查找“硬干扰段落”的方法。据我们所知，还没有其他研究提供如此全面的框架来识别和利用“硬干扰段落”。