⏶2
增强大型语言模型推理：用于复杂问答的动态笔记写作
发表
由 
Rishabh Maheshwary 提交
Rishabh Maheshwary 提交作者: Rishabh Maheshwary, Masoud Hashemi, Khyati Mahajan, Shiva Krishna Reddy Malay, Sai Rajeswar, Sathwik Tejaswi Madhusudhan, Spandana Gella, Vikas Yadav
Rishabh Maheshwary, Masoud Hashemi, Khyati Mahajan, Shiva Krishna Reddy Malay, Sai Rajeswar, Sathwik Tejaswi Madhusudhan, Spandana Gella, Vikas Yadav摘要
迭代 RAG 用于多跳问答面临上下文过长和无关信息积累的挑战。这阻碍了模型处理和推理检索内容的能力，并限制了性能。虽然最近的方法侧重于压缩检索到的信息，但它们要么仅限于单轮 RAG，要么需要微调，要么在迭代 RAG 中缺乏可扩展性。为了解决这些挑战，我们提出了笔记写作（Notes Writing）方法，该方法在每一步从检索到的文档中生成简洁相关的笔记，从而减少噪声并仅保留必要信息。这间接增加了大型语言模型（LLMs）的有效上下文长度，使其能够更有效地处理大量输入文本，同时进行推理和规划。笔记写作是框架无关的，可以与不同的迭代 RAG 方法集成。我们在三种迭代 RAG 方法、两种模型和四个评估数据集上展示了其有效性。笔记写作总体平均提高了 15.6 个百分点，同时输出标记量增加最少。
迭代 RAG（检索增强生成）处理多跳问答时面临长上下文和无关信息累积的挑战。我们提出了 NotesWriting，它在每一步从检索到的文档中生成简洁的笔记，从而减少噪音并仅保留必要的信息。这间接增加了 LLMs 的有效上下文长度，使其能够更有效地推理和规划，同时处理更大容量的输入文本。