HERMES：来自多源运动数据的人机具身学习，用于移动灵巧操作

利用人类运动数据为机器人赋予通用的操作技能已成为机器人操作领域的一个有前途的范式。然而，将多源人类手部运动转化为可行的机器人行为仍然具有挑战性，特别是对于配备多指灵巧手的机器人，其动作空间复杂且维度高。此外，现有方法通常难以产生能够适应不同环境条件的策略。在本文中，我们介绍了 HERMES，一个用于移动双臂灵巧操作的人机学习框架。首先，HERMES 提出了一种统一的强化学习方法，能够将来自多个来源的异构人类手部运动无缝地转化为物理上合理的机器人行为。随后，为了缩小 sim2real 的差距，我们设计了一种端到端的、基于深度图像的 sim2real 迁移方法，以提高对真实世界场景的泛化能力。此外，为了在各种非结构化环境中实现自主操作，我们将导航基础模型与闭环 Perspective-n-Point (PnP) 定位机制相结合，确保视觉目标的精确对齐，并有效弥合了自主导航与灵巧操作之间的差距。广泛的实验结果表明，HERMES 在各种非受控场景中始终表现出可泛化的行为，成功执行了许多复杂的移动双臂灵巧操作任务。项目页面：https://gemcollector.github.io/HERMES/。