⏶5
所见无法“未见”：知识冲突对大型语言模型的破坏性影响
发表
由 
Kaiser Sun 提交
Kaiser Sun 提交作者: Kaiser Sun, Fan Bai, Mark Dredze
摘要
大型语言模型在执行任务时，通常同时依赖上下文输入和参数化知识。然而，这些来源可能会发生冲突，尤其是当检索到的文档与模型的参数化知识相矛盾时。我们提出了一个诊断框架，以系统地评估LLM在上下文-记忆冲突下的行为，即上下文信息与其参数化信念相悖的情况。我们构建了引发这些冲突的诊断数据，并分析了模型在多种任务类型上的表现。我们的研究结果表明：(1) 知识冲突对不要求知识利用的任务影响最小，(2) 当上下文知识与参数化知识一致时，模型表现始终更高，(3) 即使在被指示的情况下，模型也无法完全抑制其内部知识，以及 (4) 提供解释冲突的理由会增加对上下文的依赖。这些发现引发了对基于模型的评估有效性的担忧，并强调在部署LLM时需要考虑知识冲突。
大型语言模型在执行任务时，通常会同时依赖上下文输入和参数化知识。然而，这些来源可能会发生冲突，尤其是当检索到的文档与模型的参数化知识相矛盾时。我们提出了一个诊断框架，用于系统地评估大型语言模型在上下文-记忆冲突下的行为，即上下文信息与模型的参数化信念发生分歧时。我们构建了引发这些冲突的诊断数据，并分析了模型在多种任务类型上的表现。我们的发现表明：(1) 知识冲突对不要求知识利用的任务影响极小；(2) 当上下文知识和参数化知识一致时，模型性能始终更高；(3) 即使在有指令的情况下，模型也无法完全抑制其内部知识；以及 (4) 提供解释冲突的理由会增加模型对上下文的依赖。这些发现引发了对基于模型的评估有效性的担忧，并强调了在部署大型语言模型时需要考虑知识冲突。