ComoRAG:一种认知启发式记忆组织型 RAG,用于有状态长叙事推理

发表
Liyan XuLiyan Xu 提交
作者: Juyuan Wang, Rongchen Zhao, Wei Wei, Yufeng Wang, MoMo Yu, Jie Zhou, Jin Xu, Liyan XuLiyan Xu

摘要

长篇故事和小说的叙事理解一直是一个具有挑战性的领域,这归因于其错综复杂的情节以及角色和实体之间纠缠不清、经常演变的关系。鉴于 LLM 在扩展上下文上的推理能力下降以及高昂的计算成本,基于检索的方法在实践中仍然发挥着关键作用。然而,传统的 RAG 方法由于其无状态、单步检索过程而可能存在不足,这通常会忽略在长距离上下文中捕获相互关联关系的动态特性。在这项工作中,我们提出了 ComoRAG,秉承的原则是叙事推理不是一次性过程,而是新证据获取和过去知识巩固之间动态、演变的相互作用,类似于人类在利用大脑中记忆相关信号进行推理时的认知。具体来说,当遇到推理僵局时,ComoRAG 会经历迭代推理循环,同时与动态记忆工作区交互。在每个循环中,它会生成探测查询以设计新的探索路径,然后将检索到的新方面证据整合到全局记忆池中,从而支持为查询解决出现连贯的上下文。在四个具有挑战性的长上下文叙事基准(20 万+标记)上,ComoRAG 优于强大的 RAG 基线,与最强基线相比,相对收益持续高达 11%。进一步分析表明,ComoRAG 对于需要全局理解的复杂查询特别有利,为基于检索的长上下文理解提供了原则性、认知驱动的范式,以实现有状态推理。我们的代码已在 https://github.com/EternityJune25/ComoRAG 公开。
查看 arXiv 页面查看 PDF

评论

Liyan XuLiyan Xu
论文作者
论文提交者

ComoRAG 可在以下网址获取:

https://github.com/EternityJune25/ComoRAG