⏶2
通过动态低置信度遮罩实现自适应无分类器引导
发表
由 
Pengxiang Li 提交
Pengxiang Li 提交作者: Pengxiang Li, Shilin Yan, Joey Tsai, Renrui Zhang, Ruichuan An, Ziyu Guo, Xiaowei Gao
摘要
无分类器引导（CFG）通过插值条件和无条件预测，显著增强了生成模型的可控性。然而，标准CFG通常使用静态的无条件输入，这对于模型不确定性动态变化的迭代生成过程来说可能不是最优的。我们引入了自适应无分类器引导（A-CFG），这是一种新方法，它通过利用模型的瞬时预测置信度来调整无条件输入。在迭代（掩码）扩散语言模型的每一步，A-CFG识别当前生成序列中模型置信度低的标记。这些标记被暂时重新掩码，以创建一个动态的局部无条件输入。这使得CFG的纠正影响精确地集中在模糊区域，从而产生更有效的引导。我们将A-CFG集成到最先进的掩码扩散语言模型中，并证明了其有效性。在多样化的语言生成基准上的实验表明，A-CFG相较于标准CFG带来了显著改进，例如，在GPQA上实现了3.9分的提升。这项工作突显了在迭代生成中根据模型不确定性动态调整引导机制的益处。
Classifier-Free Guidance (CFG) 通过插值条件和无条件预测显著增强了生成模型的控制性。然而，标准的 CFG 通常使用静态的无条件输入，这对于模型不确定性动态变化的迭代生成过程来说可能不是最优的。我们引入了自适应无分类器指导（Adaptive Classifier-Free Guidance, A-CFG），这是一种利用模型即时预测置信度来调整无条件输入的新方法。在迭代（掩码）扩散语言模型的每一步中，A-CFG 会识别当前生成序列中模型置信度较低的 token。这些 token 会被临时重新掩码，以创建一个动态的、局部的无条件输入。这使得 CFG 的修正作用精确地集中在模糊区域，从而带来更有效的指导。我们将 A-CFG 集成到最先进的掩码扩散语言模型中，并展示了其有效性。在各种语言生成基准上的实验表明，A-CFG 比标准 CFG 带来了显著的改进，例如在 GPQA 上提高了 3.9 分。我们的工作突出了在迭代生成中根据模型不确定性动态调整指导机制的优势。