CSVQA: 一个用于评估VLMs STEM推理能力的中文多模态基准

视觉语言模型（VLMs）在多模态理解方面取得了显著进展，但其科学推理能力仍未得到充分评估。当前的多模态基准测试主要评估通用图像理解或文本驱动推理，缺乏需要将领域特定知识与视觉证据分析相结合的真实科学背景。为了填补这一空白，我们提出了CSVQA，一个专门为通过领域基础视觉问答来评估科学推理而设计的诊断性多模态基准。我们的基准包含1,378个精心构建的问答对，涵盖了不同的STEM学科，每个问题都要求领域知识、视觉证据的整合和高阶推理。与之前的多模态基准测试相比，CSVQA更侧重于真实世界的科学内容和复杂推理。我们还提出了一种严格的评估协议，以系统地评估模型预测是否基于精心策划的解释并通过有效的中间推理步骤得到证实。我们对15个VLM在该基准上的综合评估揭示了显著的性能差异，即使是排名最高的专有模型也仅达到了49.6%的准确率。这一经验证据强调了提高VLM科学推理能力的迫切需求。我们的CSVQA已在https://huggingface.co/datasets/Skywork/CSVQA发布。