⏶2
大型语言模型中的查询级不确定性
发表
由 
Lihu Chen 提交
Lihu Chen 提交作者: Lihu Chen, Gaël Varoquaux
Lihu Chen, Gaël Varoquaux摘要
对于大型语言模型而言，了解其知识边界以及识别已知和未知查询的机制至关重要。这种意识可以帮助模型执行自适应推理，例如调用RAG、进行缓慢而深入的思考，或采用弃权机制，这有助于开发高效且值得信赖的AI。在这项工作中，我们提出了一种通过查询级不确定性检测知识边界的方法，旨在判断模型是否能在不生成任何token的情况下处理给定查询。为此，我们引入了一种新颖且无需训练的方法，称为内部置信度（Internal Confidence），它利用跨层和跨token的自评估。事实问答和数学推理任务的实证结果表明，我们的内部置信度优于多个基线方法。此外，我们展示了所提出的方法可用于高效的RAG和模型级联，从而在保持性能的同时降低推理成本。
对于大型语言模型而言，了解其知识边界以及识别已知和未知查询的机制至关重要。这种意识可以帮助模型进行自适应推理，例如调用RAG、进行慢速深入思考或采用弃权机制，这有利于开发高效和可信赖的AI。在这项工作中，我们提出了一种通过查询级不确定性来检测知识边界的方法，其目的是确定模型是否能够在不生成任何标记的情况下处理给定的查询。为此，我们引入了一种新颖且无需训练的方法，称为\emph{内部置信度}，它利用跨层和跨标记的自我评估。在事实问答和数学推理任务上的实证结果表明，我们的内部置信度优于多个基线方法。此外，我们展示了我们提出的方法可用于高效的RAG和模型级联，这能够在保持性能的同时降低推理成本。