⏶9
DexUMI：将人手作为灵巧操作的通用操作界面
发表
由 
Mengda Xu 提交
Mengda Xu 提交作者: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song
Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song摘要
我们提出了DexUMI——一个数据收集和策略学习框架，它使用人手作为自然界面，将灵巧操作技能转移到各种机器人手。DexUMI 包括硬件和软件适配，以最小化人手和各种机器人手之间的具身差距。硬件适配通过使用可穿戴手部外骨骼弥合了运动学差距。它允许在操作数据收集中提供直接触觉反馈，并将人体运动适配到可行的机器人手部运动。软件适配通过用高保真机器人手修复替换视频数据中的人手来弥合视觉差距。我们通过在两个不同的灵巧机器人手硬件平台上进行的全面真实世界实验展示了DexUMI的能力，实现了86%的平均任务成功率。
我们提出了 DexUMI——一个数据收集和策略学习框架，它使用人手作为自然接口，将灵巧操作技能迁移到各种机器人手上。DexUMI 包括硬件和软件适应，以最小化人手与各种机器人手之间的具身鸿沟。硬件适应通过可穿戴手部外骨骼弥合运动学鸿沟。它允许在操作数据收集中提供直接触觉反馈，并将人手运动适应为机器人手可行的运动。软件适应通过用高保真机器人手修复替换视频数据中的人手来弥合视觉鸿沟。我们通过在两个不同的灵巧机器人手硬件平台上的综合真实世界实验展示了 DexUMI 的能力，实现了平均86%的任务成功率。