RoboVerse：迈向可扩展和可泛化的机器人学习的统一平台、数据集和基准

数据规模化和标准化评估基准极大地推动了自然语言处理和计算机视觉的显著发展。然而，机器人领域在数据规模化和建立评估体系方面面临着独特的挑战。收集真实世界数据耗费资源且效率低下，而在真实世界场景下的基准测试仍然高度复杂。合成数据和仿真提供了有前景的替代方案，然而现有的工作往往在数据质量、多样性和基准标准化方面存在不足。为了解决这些挑战，我们引入了 RoboVerse，这是一个包含仿真平台、合成数据集和统一基准的全面框架。我们的仿真平台支持多种仿真器和机器人本体，能够在不同环境之间实现无缝切换。该合成数据集具有高保真物理特性和照片级真实感渲染，通过多种方法构建而成。此外，我们提出了用于模仿学习和强化学习的统一基准，能够实现跨不同泛化水平的评估。仿真平台的核心是 MetaSim，这是一个能够将多样的仿真环境抽象为统一接口的基础设施。它将现有的仿真环境重构为一个与仿真器无关的配置系统，以及一个用于统一不同仿真器功能的 API，例如启动仿真环境、加载带有初始状态的资产、推进物理引擎等。这种抽象确保了互操作性和可扩展性。全面的实验表明，RoboVerse 提升了模仿学习、强化学习、世界模型学习和虚实迁移的性能。这些结果验证了我们的数据集和基准的可靠性，将 RoboVerse 确立为一个促进机器人学习发展的鲁棒解决方案。