迈向多模态通用模型之路：通用能力水平与通用基准

多模态大型语言模型（MLLM）目前正在快速发展，这得益于大型语言模型（LLMs）的先进能力。与早期的专业模型不同，现有的MLLM正朝着多模态通用模型范式演进。这些模型最初仅限于理解多种模态，现已发展到不仅能跨模态理解，还能跨模态生成。它们的能力已从粗粒度多模态理解扩展到细粒度理解，并从支持有限模态扩展到支持任意模态。尽管存在许多用于评估MLLM的基准测试，但一个关键问题出现了：我们能否简单地认为跨任务的更高性能就意味着更强的MLLM能力，从而使我们更接近人类水平的AI？我们认为答案并非看起来那么简单。本项目引入了 General-Level，这是一个评估框架，定义了MLLM性能和通用性的5个级别，提供了一种比较MLLM并衡量现有系统朝着更稳健的多模态通用模型以及最终朝着AGI迈进的进展的方法。该框架的核心是“协同”（Synergy）概念，它衡量模型在理解和生成能力之间以及跨多种模态之间是否保持一致。为了支持这一评估，我们提出了 General-Bench，它涵盖了更广泛的技能、模态、格式和能力，包括700多个任务和325,800个实例。涉及100多个现有最先进MLLM的评估结果揭示了通用模型的排名，突显了实现真正AI所面临的挑战。我们期望本项目能为下一代多模态基础模型未来的研究铺平道路，提供强大的基础设施以加速AGI的实现。项目主页：https://generalist.top/