通过句子级早期干预缓解目标幻觉

多模态大型语言模型（MLLM）彻底改变了跨模态理解，但仍持续面临幻觉问题——即生成与视觉输入矛盾的虚构内容。现有的幻觉缓解方法要么导致高昂的计算成本，要么在训练数据和模型输出之间引入分布不匹配。我们发现了一个关键洞察：幻觉主要在文本生成的早期阶段出现，并传播到后续输出。为了解决这个问题，我们提出了 **SENTINEL** (**S**entence-level **E**arly i**N**tervention **T**hrough **IN**-domain pr**E**ference **L**earning)，这是一个无需人工标注的框架。具体来说，我们首先通过迭代采样模型输出，通过与两个开放词汇检测器进行交叉检查来验证对象存在，并将句子分类为幻觉/非幻觉类别，从而自举高质量的领域内偏好对。随后，我们使用上下文连贯的正样本和幻觉负样本迭代地构建上下文感知偏好数据。最后，我们使用上下文感知偏好损失（C-DPO）来训练模型，该损失强调在幻觉最初显现的句子级别进行判别性学习。实验结果表明，与原始模型相比，SENTINEL 可以将幻觉减少90%以上，并且在幻觉基准和通用能力基准上都优于先前的最先进方法，展示了其卓越性和泛化能力。模型、数据集和代码可在 https://github.com/pspdada/SENTINEL 获取。