MoHoBench: 通过无法回答的视觉问题评估多模态大语言模型的诚实性

近来，多模态大型语言模型（MLLM）在视觉-语言任务中取得了显著进展，但同时可能生成有害或不可信的内容。尽管已有大量工作研究语言模型的信任度，但MLLM在面对视觉上无法回答的问题时，其诚实行为能力在很大程度上仍未得到充分探索。本研究首次对各种MLLM的诚实行为进行了系统评估。我们根据模型对无法回答的视觉问题的响应行为来定义诚实，并定义了四种代表性的此类问题，构建了MoHoBench——一个大规模的MLLM诚实基准，包含12k+视觉问题样本，其质量通过多阶段过滤和人工验证得到保证。我们使用MoHoBench对28个流行MLLM的诚实性进行了基准测试并进行了全面分析。我们的发现表明：(1) 大多数模型在必要时未能恰当地拒绝回答，以及 (2) MLLM的诚实性不仅仅是一个语言建模问题，而且深受视觉信息的影响，这需要开发专门的多模态诚实对齐方法。因此，我们使用监督学习和偏好学习实现了初步的对齐方法，以改善诚实行为，为未来可信赖MLLM的研究奠定了基础。我们的数据和代码可在 https://github.com/DSTTSD/MoHoBench 获取。