通过多智能体协作，扩展超出大型语言模型上下文窗口的外部知识输入

随着推理和信息检索后训练技术的快速发展，大型语言模型 (LLM) 可以整合大量检索到的知识来解决复杂任务。然而，LLM 有限的上下文窗口阻碍了外部知识输入量的扩展，从而限制了进一步的改进，特别是对于需要大量外部知识的任务。现有的上下文窗口扩展方法不可避免地会造成信息丢失。基于 LLM 的多代理方法作为一种新的范式出现，以分布式方式处理海量输入，我们在其中识别了现有知识同步和推理过程中的两个核心瓶颈。在这项工作中，我们开发了一个多代理框架 ExtAgents，以克服这些瓶颈并实现推理时知识集成更好的可扩展性，而无需长上下文训练。在我们增强的多跳问答测试 $boldsymbol{inftyBench+}$ 和其他公共测试集（包括长篇调查生成）上的基准测试表明，ExtAgents 在输入相同数量的外部知识（无论是否超出上下文窗口）的情况下，显著提高了相对于现有非训练方法的性能。此外，由于高并行性，该方法保持了高效率。进一步研究 LLM 代理在增加外部知识输入方面的协调可以有益于实际应用。