Micro-Act:通过可操作的自我推理缓解问答中的知识冲突

发表
Ge QuGe Qu 提交
作者: NanNan Huo, Jinyang Li, Bowen Qin, Ge Qu, Xiaolong Li, Xiaodong Li, Chenhao Ma, Reynold Cheng

摘要

检索增强生成(RAG)系统通常会遭遇知识冲突,即检索到的外部知识与大型语言模型(LLM)固有的参数知识相矛盾。这会严重影响问答(QA)等下游任务的性能。现有方法通常试图通过并排比较两种知识源来缓解冲突,但这可能会让 LLM 淹没在无关或冗长的上下文中,最终阻碍其识别和缓解不一致的能力。为了解决这个问题,我们提出了 Micro-Act 框架,它具有分层动作空间,能够自动感知上下文复杂性并自适应地将每个知识源分解为一系列细粒度比较。这些比较以可操作步骤的形式呈现,从而实现超越表面上下文的推理。通过在五个基准数据集上的广泛实验,Micro-Act 在所有 5 个数据集和 3 种冲突类型上,持续显著提高了 QA 准确性,超越了最先进的基线,尤其是在所有基线都显著失败的时间和语义类型上。更重要的是,Micro-Act 在非冲突问题上同时表现出鲁棒性能,凸显了其在实际 RAG 应用中的实用价值。
查看 arXiv 页面查看 PDF

评论

Ge QuGe Qu
论文提交者

我们很高兴分享我们最近的工作,题为“Micro-Act:通过可操作的自推理缓解问答中的知识冲突”。