Mind2Web 2：使用代理即评审评估代理式搜索

智能体搜索（如深度研究系统）代表了用户与网络规模信息交互方式的重大转变，其中大型语言模型能够自主浏览网页、整合信息并返回全面的、有引文支持的答案。虽然这种方法有望带来更高的效率和认知卸载，但智能体搜索日益增长的复杂性和开放性已超越了现有的评估基准和方法论，这些基准和方法论大多假设搜索范围较短且答案是静态的。在本文中，我们引入了Mind2Web 2，这是一个包含130个真实、高质量、长周期任务的基准，这些任务需要实时网页浏览和大量信息整合，耗费了超过1000小时的人工劳动。为了应对评估时变复杂答案的挑战，我们提出了一种新颖的“智能体作为评判者”框架。我们的方法根据树状评分标准设计构建了任务特定的评判智能体，以自动评估答案的正确性和来源归属。我们对九个前沿智能体搜索系统和人类表现进行了全面的评估，并进行了详细的错误分析，为未来的发展提供了见解。表现最佳的系统OpenAI Deep Research已经能够达到人类表现的50-70%，同时耗时减半，显示出巨大的潜力。总而言之，Mind2Web 2为开发和评估下一代智能体搜索系统提供了严谨的基础。