⏶6
ColorAgent：构建一个稳健、个性化、交互式的操作系统代理
发表
由 
taesiri 提交
taesiri 提交作者: Ning Li, Qiqiang Lin, Zheng Wu, Xiaoyun Mo, Weiming Zhang, Yin Zhao, Xiangmou Qu, Jiamu Zhou, Jun Wang, Congmin Zheng, Yuanyi Song, Hongjiang Chen, Heyuan Huang, Jihong Wang, Jiaxin Yin, Jingwei Yu, Junwei Liao, Qiuying Peng, Xingyu Lou, Jun Wang, Weiwen Liu, Zhuosheng Zhang, Weinan Zhang
摘要
AI 生成总结
ColorAgent 是一款操作系统代理，采用逐步强化学习和多智能体框架，在 Android 基准测试中实现了高成功率的长周期交互和个性化用户参与。随着硬件、软件和大型语言模型技术的发展，人与操作系统之间的交互已从命令行界面演变为快速兴起的人工智能代理交互。
构建一个能够执行用户指令并忠实遵循用户意愿的操作系统 (OS) 代理正在成为现实。
在这份技术报告中，我们介绍了 ColorAgent，一个 OS
代理，旨在与环境进行长期、稳健的交互，同时还能实现个性化和主动的用户交互。
为了实现与环境的长期交互，我们通过分步强化学习和自我进化训练增强了模型的能力，
同时还开发了一个量身定制的多代理框架，以确保通用性、一致性和鲁棒性。
在用户交互方面，我们探索了个性化的用户意图识别和主动参与，
将 OS 代理定位为不仅仅是一个自动化工具，而是一个热情、协作的伙伴。
我们在 AndroidWorld 和 AndroidLab 基准测试中评估了 ColorAgent，
分别取得了 77.2% 和 50.7% 的成功率，创下了新的技术水平。
尽管如此，我们注意到当前基准不足以全面评估 OS 代理，并建议在未来的工作中进一步探索方向，
特别是在评估范式、代理协作和安全领域。我们的代码可在
https://github.com/MadeAgents/mobile-use 获取。
随着硬件、软件和大型语言模型技术的进步，人机交互已从命令行界面发展到快速兴起的人工智能代理交互。构建一个能够执行用户指令并忠实遵循用户意愿的操作系统（OS）代理正在成为现实。在这份技术报告中，我们介绍了 ColorAgent，一个旨在与环境进行长期、鲁棒交互，同时实现个性化和主动用户交互的 OS 代理。为了实现与环境的长期交互，我们通过逐步强化学习和自我进化训练增强了模型的能力，同时开发了一个量身定制的多代理框架，以确保通用性、一致性和鲁棒性。在用户交互方面，我们探索了个性化用户意图识别和主动参与，将 OS 代理定位为不仅仅是自动化工具，而是一个温暖的协作伙伴。我们在 AndroidWorld 和 AndroidLab 基准测试中评估了 ColorAgent，分别取得了 77.2% 和 50.7% 的成功率，建立了新的最先进水平。尽管如此，我们注意到当前的基准测试不足以全面评估 OS 代理，并建议在未来的工作中进一步探索方向，特别是在评估范式、代理协作和安全性方面。