泼溅物理场景：利用不完美机器人数据实现端到端虚实迁移

直接从真实世界机器人运动创建精确的物理模拟，对于安全、可扩展且经济的机器人学习具有巨大价值，但仍然极具挑战性。真实机器人数据存在遮挡、嘈杂的相机姿态和动态场景元素等问题，这些问题阻碍了对未知对象创建几何精确且逼真的数字孪生。我们引入了一种新颖的从现实到模拟（real-to-sim）框架，一次性解决了所有这些挑战。我们的关键洞察是一种混合场景表示，它将 3D 高斯泼溅（3D Gaussian Splatting）的逼真渲染与适用于物理模拟的显式物体网格融合到单一表示中。我们提出了一个端到端优化流程，该流程利用 MuJoCo 中的可微分渲染和可微分物理，直接从原始和不精确的机器人轨迹中共同优化所有场景组件——从物体几何形状和外观到机器人姿态和物理参数。这种统一优化使我们能够同时实现高保真度的物体网格重建、生成逼真的新视角，并执行无需标注的机器人姿态校准。我们既在仿真中又在使用 ALOHA 2 双臂机械手的具有挑战性的真实世界序列上展示了我们方法的有效性，从而实现了更实用和鲁棒的从现实到模拟的管道。