Real2Render2Real：无需动力学模拟或机器人硬件来扩展机器人数据

机器人学习的规模化需要大量多样的数据集。然而，当前主要的数据收集范式——人工远程操控——仍然成本高昂，并且受制于人工工作量和对物理机器人的访问。我们引入了Real2Render2Real (R2R2R)，这是一种生成机器人训练数据的新方法，它不依赖于物体动力学仿真或机器人硬件的远程操控。其输入是一个由智能手机捕获的一个或多个物体的扫描，以及一段人类演示的视频。R2R2R通过重建详细的3D物体几何形状和外观，并跟踪物体的6自由度运动，渲染数千个高视觉保真度、与机器人无关的演示。R2R2R使用3D高斯溅射（3DGS）来为刚性物体和关节化物体实现灵活的资产生成和轨迹合成，并将这些表示转换为网格，以保持与IsaacLab等可扩展渲染引擎的兼容性，但关闭了碰撞建模。R2R2R生成的机器人演示数据可以直接与基于机器人本体状态和图像观测工作的模型集成，例如视觉-语言-动作模型（VLA）和模仿学习策略。物理实验表明，使用单一人类演示的R2R2R数据训练的模型，其性能可以媲美使用150个人工远程操控演示训练的模型。项目主页：https://real2render2real.com