少用大型语言模型，多用文档：寻找改进的检索增强生成

检索增强生成 (RAG) 将文档检索与大型语言模型 (LLM) 相结合。虽然扩大生成器的规模可以提高准确性，但也会增加成本并限制部署。我们探索了一个正交维度：扩大检索器的语料库以减少对大型 LLM 的依赖。实验结果表明，语料库的扩大能够持续增强 RAG 的性能，并且通常可以替代增加模型规模的方法，尽管在更大的规模下收益会递减。配备更大语料库的小型和中型生成器通常可以与配备较小语料库的大型模型相媲美；中型模型往往获益最多，而小型和大型模型获益较少。我们的分析表明，改进主要来自于对包含答案的段落的覆盖率增加，而利用效率基本保持不变。这些发现建立了一个原则性的语料库-生成器权衡：投资于更大的语料库是实现更强大 RAG 的有效途径，其效果通常与扩大 LLM 本身相当。