⏶19
可扩展机器人操作只需要多样性吗?
发表
由
Yuxiang Lu 提交
作者:
Modi Shi, Li Chen, Jin Chen,
Yuxiang Lu, Chiming Liu,
Guanghui Ren, Ping Luo, Di Huang, Maoqing Yao, Hongyang Li

摘要
数据扩充推动了自然语言处理 (NLP) 和计算机视觉 (CV) 领域基础模型的显著成功,然而,机器人操作中有效数据扩充的原则仍未得到充分理解。在这项工作中,我们通过检查三个关键维度——任务(做什么)、具体形态(使用哪个机器人)和专家(谁演示)——来调查数据多样性在机器人学习中的细微作用,挑战了“越多越好”的传统直觉。通过在各种机器人平台上进行广泛实验,我们发现:(1) 任务多样性比每个任务的演示数量更关键,有利于从多样化的预训练任务向新颖的下游场景转移;(2) 多具体形态预训练数据对于跨具体形态转移是可选的——在高质量单具体形态数据上训练的模型可以有效地转移到不同的平台,在微调期间显示出比多具体形态预训练模型更理想的扩充特性;(3) 专家多样性,源于个人操作偏好和人类演示中的随机变异,可能会混淆策略学习,其中速度多模态是关键的影响因素。基于这一洞察,我们提出了一种分布去偏方法来缓解速度歧义,由此产生的 GO-1-Pro 实现了 15% 的显著性能提升,相当于使用了 2.5 倍的预训练数据。总的来说,这些发现提供了新的视角,并为如何有效地扩充机器人操作数据集提供了实用指导。
代码可在以下网址获取: https://github.com/OpenDriveLab/AgiBot-World