⏶81
高效智能体：构建有效智能体同时降低成本
发表
由 
Xavier Hu 提交
Xavier Hu 提交作者: Ningning Wang, Xavier Hu, Pai Liu, He Zhu, Yue Hou, Heyuan Huang, Shengyu Zhang, Jian Yang, Jiaheng Liu, 
Ge Zhang, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou
Ge Zhang, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou摘要
大型语言模型（LLM）驱动的智能体的卓越能力使得复杂的、多步骤任务的处理成为可能，但其不断升级的成本威胁着可扩展性和可访问性。这项工作首次系统地研究了现代智能体系统中的效率-效果权衡，解决了在不牺牲性能的情况下对成本效益设计的关键需求。我们研究了三个关键问题：（1）代理任务本质上需要多少复杂性？（2）何时额外模块会产生边际收益递减？（3）通过高效智能体框架的设计可以获得多少效率？通过对 GAIA 基准的实证分析，我们评估了 LLM 主干选择、智能体框架设计和测试时间扩展策略的影响。使用“通过成本”度量标准，我们量化了这些维度上的效率-性能权衡。我们的研究结果为开发“高效智能体”提供了可操作的见解，这是一个具有任务要求最佳复杂度的新型智能体框架。高效智能体保留了 OWL（一个领先的开源智能体框架）96.7% 的性能，同时将运营成本从 0.398 降低到 0.228，从而使“通过成本”提高了 28.4%。我们的工作为设计高效、高性能的智能体系统提供了可操作的见解，促进了人工智能驱动解决方案的可访问性和可持续性。
本研究探讨了大型语言模型（LLM）代理在效率与效果之间的权衡。我们发现，通过精心设计代理框架并选择合适的LLM骨干，我们可以在不显著降低性能的情况下大幅降低运营成本。我们的新框架Efficient Agents证明了这一点，它在实现领先框架96.7%性能的同时，将运营成本降低了28.4%。我们的工作为创建经济高效、高性能的AI系统提供了蓝图，使其更易于访问和可持续发展。