TRAIL：智能体问题跟踪与定位

代理工作流在各个领域的日益普及，带来了对这些系统生成的复杂跟踪记录进行可扩展和系统化评估的迫切需求。当前的评估方法依赖于人工对冗长的跟踪记录进行手动、领域特定的分析——这种方法无法随着代理输出日益增长的复杂性和数量而扩展。在这些场景中，错误分析因外部工具输出和语言模型推理的相互作用而变得更加复杂，这使得它比传统的软件调试更具挑战性。在这项工作中，我们 (1) 阐明了对代理工作流跟踪记录进行鲁棒和动态评估方法的必要性，(2) 引入了代理系统中遇到的错误类型的正式分类法，以及 (3) 基于此分类法并以既定的代理基准为基础，构建并提供了由 148 个大型人工标注的跟踪记录组成的集合 (TRAIL)。为确保生态有效性，我们收集了来自单代理和多代理系统的跟踪记录，重点关注软件工程和开放世界信息检索等实际应用。我们的评估表明，现代长上下文大型语言模型在跟踪记录调试方面表现不佳，即使是最好的 Gemini-2.5-pro 模型在 TRAIL 上的得分也仅为 11%。我们的数据集和代码已公开提供，以支持和加速未来在代理工作流可扩展评估方面的研究。