MCPMark：一个用于压力测试现实和全面MCP使用的基准

MCP 标准化了 LLM 与外部系统的交互方式，为通用代理奠定了基础。然而，现有的 MCP 基准范围仍然狭窄：它们侧重于大量读取的任务或交互深度有限的任务，未能捕捉到真实世界工作流程的复杂性和现实性。为了弥合这一差距，我们提出了 MCPMark，一个旨在以更现实和全面的方式评估 MCP 使用的基准。它包含由领域专家和 AI 代理协作创建的 127 个高质量任务。每个任务都从一个精选的初始状态开始，并包含一个用于自动验证的程序化脚本。这些任务需要与环境进行更丰富、更多样化的交互，涉及广泛的创建、读取、更新和删除（CRUD）操作。我们使用在工具调用循环中运行的最小代理框架，对尖端 LLM 进行了全面评估。经验结果表明，表现最佳的模型 gpt-5-medium，pass@1 仅达到 52.56%，pass^4 达到 33.86%，而其他广泛认可的强大模型，包括 claude-sonnet-4 和 o3，pass@1 低于 30%，pass^4 低于 15%。平均而言，LLM 每个任务需要 16.2 个执行回合和 17.4 次工具调用，明显超过了 prior MCP 基准中的数量，凸显了 MCPMark 的压力测试性质。