⏶5
MLLMs 深受模态偏差影响
发表
由 
Chenfei Liao 提交
Chenfei Liao 提交作者: Xu Zheng, Chenfei Liao, Yuqian Fu, Kaiyu Lei, Yuanhuiyi Lyu, Lutao Jiang, Bin Ren, Jialei Chen, Jiawen Wang, Chengxin Li, Linfeng Zhang, Danda Pani Paudel, Xuanjing Huang, Yu-Gang Jiang, Nicu Sebe, Dacheng Tao, Luc Van Gool, Xuming Hu
Chenfei Liao, Yuqian Fu, Kaiyu Lei, Yuanhuiyi Lyu, Lutao Jiang, Bin Ren, Jialei Chen, Jiawen Wang, Chengxin Li, Linfeng Zhang, Danda Pani Paudel, Xuanjing Huang, Yu-Gang Jiang, Nicu Sebe, Dacheng Tao, Luc Van Gool, Xuming Hu摘要
多模态大型语言模型 (MLLMs) 的最新进展，在整合文本和图像等多种模态方面取得了可喜的成果。然而，MLLMs 受模态偏差的严重影响，通常过度依赖语言，同时未能充分利用视觉输入等其他模态。本文认为 MLLMs 深受模态偏差的影响。首先，我们诊断了模态偏差的当前状况，并重点介绍了其在各种任务中的表现形式。其次，我们提出了一个关于 MLLMs 中模态偏差的系统性研究路线图。第三，我们确定了 MLLMs 中模态偏差的关键因素，并为未来的研究提出了可行的缓解建议。为了证实这些发现，我们进行了实验，实验表明了每个因素的影响：1. 数据特征：语言数据紧凑且抽象，而视觉数据冗余且复杂，这在学习动态中造成了固有的不平衡。2. 主干模型能力不平衡：MLLMs 中预训练语言模型的主导地位导致过度依赖语言，并忽视视觉信息。3. 训练目标：当前的训练目标通常未能促进平衡的跨模态对齐，导致偏向语言的捷径学习。这些发现强调了需要平衡的训练策略和模型架构，以便更好地在 MLLMs 中整合多种模态。我们呼吁跨学科合作，以应对这些挑战并推动 MLLM 研究的创新。我们的工作提供了关于 MLLMs 中模态偏差的新视角，并为开发更鲁棒和泛化的多模态系统提供了见解，从而推动通用人工智能的发展。
多模态大语言模型 (MLLMs) 的最新进展在整合文本和图像等不同模态方面已显示出可喜成果。然而，MLLMs 深受模态偏差的影响，常常偏重语言，同时未充分利用视觉输入等其他模态。本文提出，MLLMs 深受模态偏差的影响。首先，我们分析了模态偏差的现状，揭示了其在各种任务中的表现形式。其次，我们提出了一个关于 MLLMs 中模态偏差的系统研究路线图。第三，我们确定了导致 MLLMs 中模态偏差的关键因素，并为未来的研究提供了减轻该问题的可行建议。为了证实这些发现，我们进行了实验，展示了每个因素的影响：1. 数据特征：语言数据紧凑且抽象，而视觉数据冗余且复杂，这在学习动态中造成了固有的不平衡。2. 不平衡的骨干模型能力：预训练语言模型在 MLLMs 中的主导地位导致过度依赖语言并忽略视觉信息。3. 训练目标：当前的目标往往未能促进平衡的跨模态对齐，导致偏向语言的捷径学习。这些发现强调了在 MLLMs 中需要平衡的训练策略和模型架构，以更好地整合多种模态。我们呼吁跨学科合作，以应对这些挑战并推动 MLLM 研究的创新。我们的工作提供了关于 MLLMs 中模态偏差的新颖视角，并为开发更鲁棒和更具泛化性的多模态系统提供了见解，从而推动了通用人工智能的进展。