AgentTTS: 用于复杂任务中测试时计算最优扩展策略的大型语言模型代理

测试时缩放（TTS）通过在推理过程中分配额外的计算资源来提高大型语言模型（LLM）的性能。然而，现有研究主要调查单阶段任务中的 TTS；而许多现实世界问题是多阶段复杂任务，由一系列异构子任务组成，每个子任务都需要特定能力的 LLM。因此，我们研究了一个新问题：多阶段复杂任务中的测试时计算优化缩放，旨在为每个子任务选择合适的模型并分配预算，以最大化整体性能。多阶段任务中的 TTS 带来了两个基本挑战：（i）模型和预算分配的组合搜索空间，加上高昂的推理成本，使得暴力搜索不切实际。（ii）跨子任务的最佳模型和预算分配是相互依赖的，增加了计算优化搜索的复杂性。为了解决这一差距，我们对六个数据集中的四个任务进行了广泛的试点实验，得出了三个经验见解，描述了 LLM 在多阶段复杂任务中的行为。根据这些见解，我们提出了 AgentTTS，一个基于 LLM 智能体的框架，它通过与执行环境的迭代反馈驱动交互自主搜索计算优化分配。实验结果表明，AgentTTS 在搜索效率方面显著优于传统和其他基于 LLM 的基线，并且对不同训练集大小表现出更高的鲁棒性并增强了可解释性。