关于视觉令牌的认知不确定性对大型视觉-语言模型中对象幻觉的影响

大型视觉语言模型（LVLM）将视觉编码器（VE）与大型语言模型集成，在各种任务中取得了显著成功。然而，LVLM仍然面临一些关键挑战，例如对象幻觉，即生成输入图像中不存在的对象描述。在这里，我们认为VE中不确定的视觉令牌是导致对象幻觉的关键因素。我们的统计分析发现，具有高认知不确定性的视觉令牌与幻觉的发生之间存在正相关。此外，我们从理论和实践上证明，在VE的早期层中，在小的对抗性扰动下表现出大表示偏差的视觉令牌预示着高认知不确定性。基于这些发现，我们提出了一种简单而有效的策略，通过仅修改VE来减轻对象幻觉。我们的方法包括一种使用对抗性扰动来有效识别不确定视觉令牌的代理方法，以及一种在VE中间层的自注意力过程中掩蔽这些不确定视觉令牌的方法，从而抑制它们对视觉编码的影响，从而减轻幻觉。广泛的实验表明，我们的方法显著减少了LVLM中的对象幻觉，并且可以与其他现有技术协同工作。