面向大语言模型推理:内部概率与自洽性桥接的理论研究

发表
Zhi ZhouZhi Zhou 提交
作者: Zhi ZhouZhi Zhou, Yuhao Tan, Zenan Li, Yuan Yao, Lan-Zhe Guo, Yu-Feng Li, Xiaoxing Ma

摘要

AI 生成总结
一个用于大型语言模型中基于采样的测试时缩放的理论框架揭示了自洽性和困惑度的局限性,并引入了 RPC 以提高推理性能和降低采样成本。
测试时缩放旨在通过增加计算资源来提高大型语言模型(LLM)的推理性能。该领域一种普遍的方法是基于采样的测试时缩放方法,通过在推理过程中为给定输入生成多个推理路径来增强推理能力。然而,尽管取得了实际成功,但其理论基础仍未得到充分探索。在本文中,我们提供了第一个用于分析基于采样的测试时缩放方法的理论框架,该框架以置信度估计的视角为基础。基于该框架,我们分析了两种主要的范例:自洽性(self-consistency)和困惑度(perplexity),并揭示了关键局限性:自洽性存在高估计误差,而困惑度则表现出显著的模型误差以及可能估计误差收敛性的下降。为了解决这些局限性,我们引入了 RPC,一种混合方法,通过两个关键组件利用我们的理论洞察:困惑度一致性(Perplexity Consistency)和推理修剪(Reasoning Pruning)。困惑度一致性结合了自洽性和困惑度的优势,将估计误差的收敛率从线性提升到指数级,同时保持了模型误差。推理修剪通过消除低概率的推理路径来防止性能下降。理论分析和跨七个基准数据集的实证结果均表明,RPC 在减少推理误差方面具有巨大潜力。值得注意的是,RPC 在推理性能上可与自洽性相媲美,并且不仅提高了置信度可靠性,还将采样成本降低了 50%。代码和资源可在 https://wnjxyk.github.io/RPC 获取。
查看 arXiv 页面查看 PDF

评论

Zhi ZhouZhi Zhou
论文作者
论文提交者
🌟🌟🌟 资源 🌟🌟🌟
Zhi ZhouZhi Zhou
论文作者
论文提交者

我们提出了首个理论框架来分析 LLM 的推理错误,并对接了两种典型的基于采样的测试时缩放方法,以实现低错误率和快速收敛

Zhi ZhouZhi Zhou
论文作者
论文提交者

@librarian-bot 推荐