⏶2
ERGO：用于多轮语言模型生成优化的熵引导重置
发表
由 
Haziq Mohammad Khalid 提交
Haziq Mohammad Khalid 提交作者: Haziq Mohammad Khalid, Athikash Jeyaganthan, Timothy Do, Yicheng Fu, Sean O'Brien, Vasu Sharma, Kevin Zhu
Haziq Mohammad Khalid, Athikash Jeyaganthan, Timothy Do, Yicheng Fu, Sean O'Brien, Vasu Sharma, Kevin Zhu摘要
AI 生成总结
ERGO 是一种引导重置方法，它通过动态地根据内部不确定性重新对齐上下文来提高对话式人工智能的性能，从而在多轮交互中提高准确性和可靠性。大型语言模型 (LLMs) 在多轮对话中，当信息是渐进式呈现时，性能会显著下降。鉴于多轮对话是与 LLMs 日常交互的特征，这种性能下降对实际可用性构成了严峻的挑战。我们假设模型不确定性的突然增加标志着多轮 LLM 交互中的不匹配，并利用这一见解动态地重新对齐对话上下文。我们引入了 ERGO (Entropy-guided Resetting for Generation Optimization，熵引导重置以优化生成)，它通过香农熵对下一词分布进行持续量化来衡量内部不确定性，并在检测到熵急剧升高时触发自适应提示整合。ERGO 将不确定性视为一个重要信号，而不是需要消除的干扰，它拥抱语言和建模中的可变性，从而表示和响应不确定性。在指令渐进揭示的多轮任务中，ERGO 在标准基线上的平均性能提升了 56.6%，能力（峰值性能）提高了 24.7%，不可靠性（性能可变性）降低了 35.3%，这表明关注不确定性的干预可以同时提高对话式 AI 的准确性和可靠性。
与最优单轮对话相比，与大型语言模型 (LLM) 进行多轮对话时，通常会产生噪声，导致性能严重下降。本文介绍了 ERGO，它监测 token 级别的熵，并在不确定性飙升时重置上下文，从而有效地让模型“保持正轨”。在编码、SQL、数学和数据到文本的任务中，ERGO 的平均性能提高了 56.6%，峰值性能提高了 24.7%，不确定性降低了 35.3%。这是一个可以推广到许多任务的简单信号。