⏶72
UI-MOPD: 多平台策略蒸馏,用于持续GUI智能体学习
发表
由
Yuhong Dai 提交
作者:
Niu Lian, Alan Chen, Zhehao Yu, Chengzhen Duan, Fazhan Liu, Hui Liu, Pei Fu, Jian Luan, Yaowei Wang, Shu-Tao Xia, Jinpeng Wang
摘要
AI 生成总结
Uni-GUI 数据集和 UI-MOPD 方法通过多教师在策略蒸馏,解决了数据有限和平台特定能力下降的问题,从而实现了跨平台 GUI 智能体训练。多模态基础模型和智能体系统的最新进展推动 GUI 智能体从单平台任务执行走向跨平台交互。然而,构建多平台 GUI 智能体仍然具有挑战性。一方面,高质量和可执行的跨平台交互轨迹仍然稀缺,现有数据通常平台覆盖范围有限。另一方面,不同平台展现出独特的交互约定,使得联合训练或持续训练容易导致行为模式混合、平台特定能力退化以及灾难性遗忘。为了应对这些挑战,我们构建了 Uni-GUI,一个高质量的跨平台 GUI 交互数据集,并提出了 UI-MOPD,这是第一个将多教师在线策略蒸馏融入 GUI 智能体持续学习的方法。UI-MOPD 根据当前环境动态选择一个平台特定教师,并通过平台条件蒸馏将平台特定行为先验知识转移到共享策略中,从而实现在新平台上的适应性,同时保留现有平台上的能力。在 OSWorld 和 MobileWorld 上的实验表明,UI-MOPD 分别达到了 38.2% 和 12.0% 的任务成功率,证明了其在平衡跨平台能力保留和新平台适应方面的有效性。项目页面:https://elispectre.github.io/UI-MOPD/。
UI-MOPD:用于持续GUI智能体学习的多平台在线策略蒸馏