对先验的深思：大型语言模型在知识图谱上的可信推理

基于知识图谱的检索增强生成旨在减轻大型语言模型 (LLMs) 因知识不足或过时而产生的幻觉。然而，现有方法往往未能充分利用知识图谱 (KGs) 中嵌入的先验知识，特别是其结构信息和显式或隐式约束。前者可以增强 LLMs 推理的忠实性，而后者可以提高响应生成的可靠性。受此启发，我们提出了一种称为 Deliberation over Priors (DP) 的可信推理框架，该框架充分利用了 KG 中包含的先验知识。具体而言，DP 采用渐进式知识蒸馏策略，通过监督微调和 Kahneman-Tversky 优化相结合的方式将结构先验整合到 LLMs 中，从而提高了关系路径生成的忠实性。此外，我们的框架采用了一种推理-内省策略，该策略指导 LLMs 基于提取的约束先验执行精细的推理验证，确保响应生成的可靠性。在三个基准数据集上的广泛实验表明，DP 取得了新的最先进性能，特别是在 ComplexWebQuestions 数据集上 Hit@1 提高了 13%，并生成了高度可信的响应。我们还进行了各种分析，以验证其灵活性和实用性。代码可在 https://github.com/reml-group/Deliberation-on-Priors 获取。