ODYSSEY：用于长周期任务的开放世界四足动物探索与操控

语言引导的长时程移动操作，长期以来一直是具身语义推理、可泛化操作和自适应运动的重大挑战。三个根本性限制阻碍了进展：第一，尽管大型语言模型通过语义先验提高了空间推理和任务规划能力，但现有实现仍然局限于桌面场景，未能解决移动平台的受限感知和有限驱动范围。第二，在开放世界环境中，当前的操作策略在面对多样的物体配置时，泛化能力不足。第三，尽管这对实际部署至关重要，但在非结构化环境中同时保持高平台机动性和末端执行器精确控制的双重要求，仍然研究不足。 在这项工作中，我们提出了 ODYSSEY，一个用于配备机械臂的敏捷四足机器人的统一移动操作框架，该框架无缝集成了高级任务规划和低级全身控制。为了应对语言条件任务中以自我为中心的感知挑战，我们引入了一个由视觉语言模型驱动的分层规划器，能够实现长时程指令分解和精确动作执行。在控制层面，我们新颖的全身策略在具有挑战性的地形中实现了鲁棒的协调。我们还提出了第一个长时程移动操作的基准测试，评估了各种室内外场景。通过成功的仿真到现实迁移，我们展示了该系统在真实世界部署中的泛化能力和鲁棒性，突显了有腿机器人在非结构化环境中进行操作的实用性。我们的工作推动了能够执行复杂、动态任务的通用机器人助手的可行性。我们的项目页面：https://kaijwang.github.io/odyssey.github.io/