ECoRAG: 证据引导的长上下文RAG压缩

大型语言模型（LLM）通过检索增强生成（RAG）利用外部文档，在开放域问答（ODQA）中展现出卓越的性能。为了减少RAG的开销，尤其是在更长的上下文中，上下文压缩是必需的。然而，现有的压缩方法并未专注于过滤非证据信息，这限制了基于LLM的RAG的性能。因此，我们提出了证据引导的RAG，即ECoRAG框架。ECoRAG通过基于证据性压缩检索到的文档来提高LLM的性能，确保答案生成是否由正确的证据支持。此外，ECoRAG还会评估压缩内容是否提供了足够的证据，如果不足，则会继续检索直到充足。实验表明，ECoRAG提高了LLM在ODQA任务上的性能，优于现有的压缩方法。此外，ECoRAG具有极高的成本效益，因为它不仅减少了延迟，还通过仅保留生成正确答案所需的必要信息来最大限度地减少令牌使用。代码可在 https://github.com/ldilab/ECoRAG 获取。