使用高斯散点图生成高保真模拟数据，用于现实世界中的零样本机器人操作学习

机器人学习的可扩展性受到现实世界数据收集成本高昂且劳动密集型的根本性限制。虽然模拟数据提供了一种可扩展的替代方案，但由于视觉外观、物理属性和物体交互方面的显著差距，它通常无法泛化到现实世界。为了解决这个问题，我们提出了RoboSimGS，一个新颖的Real2Sim2Real框架，它将多视角现实世界图像转换为可扩展、高保真且物理上可交互的模拟环境，用于机器人操作。我们的方法使用混合表示来重建场景：3D高斯溅射（3DGS）捕捉环境的逼真外观，而交互式物体的网格原语确保了精确的物理模拟。至关重要的是，我们率先使用多模态大型语言模型（MLLM）来自动化创建物理上可信的、可动的资产。MLLM分析视觉数据，不仅推断出物理属性（例如，密度、刚度），还推断出物体的复杂运动学结构（例如，铰链、滑动导轨）。我们证明，完全在RoboSimGS生成的数据上训练的策略在各种现实世界的操作任务上实现了成功的零样本模拟到现实的迁移。此外，RoboSimGS的数据显著提高了SOTA方法的性能和泛化能力。我们的结果证实RoboSimGS是弥合模拟到现实差距的强大且可扩展的解决方案。