MCP-宇宙：使用真实世界模型上下文协议服务器对大型语言模型进行基准测试

模型上下文协议 (MCP) 已成为连接大型语言模型与外部数据源和工具的变革性标准，并迅速被主流人工智能提供商和开发平台采纳。然而，现有的基准测试过于简单，未能捕捉到真实应用中的挑战，例如长时域推理和大型、不熟悉的工具空间。为了解决这一关键差距，我们提出了 MCP-Universe，这是第一个专门通过与真实 MCP 服务器交互来评估大型语言模型在现实和困难任务中的能力的综合性基准测试。我们的基准测试涵盖了 6 个核心领域，横跨 11 个不同的 MCP 服务器：位置导航、存储库管理、财务分析、3D 设计、浏览器自动化和网络搜索。为了确保严格的评估，我们实施了基于执行的评估器，包括用于智能体格式合规性的格式评估器、用于时间不变内容匹配的静态评估器，以及自动检索时间敏感任务实时真实情况的动态评估器。通过对领先的大型语言模型的广泛评估，我们发现即使是 GPT-5 (43.72%)、Grok-4 (33.33%) 和 Claude-4.0-Sonnet (29.44%) 等最先进的模型也表现出显著的性能限制。此外，我们的基准测试对大型语言模型智能体提出了严峻的长上下文挑战，因为随着交互步骤的增加，输入令牌的数量会迅速增加。此外，它还引入了未知工具的挑战，因为大型语言模型智能体通常不熟悉 MCP 服务器的确切用法。值得注意的是，像 Cursor 这样的企业级智能体无法取得比标准 ReAct 框架更好的性能。除了评估，我们还开源了支持 UI 的可扩展评估框架，使研究人员和从业人员能够无缝集成新的智能体和 MCP 服务器，同时促进快速发展的 MCP 生态系统的创新。