ACON：优化长时域 LLM 代理的上下文压缩

大型语言模型（LLMs）越来越多地被部署为动态、真实环境中 的代理，其成功既需要推理能力，也需要有效的工具使用。代理任务 中的一个核心挑战是日益增长的上下文长度，因为代理必须累积动作 和观察的长期历史。这种扩展会增加成本并降低长时任务的效率，而 之前关于上下文压缩的工作大多集中在单步任务或狭窄的应用上。我们 提出了代理上下文优化（ACON），一个统一的框架，能够将环境观察 和交互历史最优地压缩成简洁但信息丰富的摘要。ACON 利用自然语 言空间中的压缩指南优化：给定全上下文成功但压缩上下文失败的成 对轨迹，能够的 LLMs 会分析失败的原因，并据此更新压缩指南。此外， 我们提出将优化后的 LLM 压缩器蒸馏到更小的模型中，以减少附加模 块的开销。在 AppWorld、OfficeBench 和 Multi-objective QA 上的实验 表明，ACON 可将内存使用量减少 26-54%（峰值 token 数），同时基本 上保持任务性能，当蒸馏到更小的压缩器后可保持 95% 以上的准确率， 并能将小型 LM 增强为长时代理，性能提升高达 46%。