⏶7
EmbodiedGen：迈向具身智能的生成式3D世界引擎
发表
由 
xinjjj 提交
xinjjj 提交作者: Wang Xinjie, Liu Liu, Cao Yu, Wu Ruiqi, Qin Wenkang, Wang Dehui, Sui Wei, Su Zhizhong
Wang Xinjie, Liu Liu, Cao Yu, Wu Ruiqi, Qin Wenkang, Wang Dehui, Sui Wei, Su Zhizhong摘要
构建物理真实且比例准确的模拟3D世界对于具身智能任务的训练和评估至关重要。3D数据资产的多样性、真实感、低成本可访问性和可负担性对于实现具身AI的泛化能力和可扩展性至关重要。然而，目前大多数具身智能任务仍然严重依赖手动创建和标注的传统3D计算机图形资产，这些资产存在生产成本高和真实感有限的问题。这些局限性严重阻碍了数据驱动方法的可扩展性。我们提出了EmbodiedGen，一个用于交互式3D世界生成的基础平台。它能够以低成本生成高质量、可控、照片级真实感、具有精确物理属性和真实世界比例的统一机器人描述格式（URDF）的3D资产。这些资产可以直接导入各种物理仿真引擎，进行细粒度物理控制，支持训练和评估中的下游任务。EmbodiedGen是一个易于使用的全功能工具包，由六个关键模块组成：图像到3D、文本到3D、纹理生成、关节对象生成、场景生成和布局生成。EmbodiedGen利用生成式AI来解决具身智能相关研究的泛化和评估需求，生成由生成式3D资产组成的多样化交互式3D世界。代码可在https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html获取。
EmbodiedGen是一个工具包，用于生成由具有可信物理特性的生成式3D资产组成的各种交互式3D世界，它利用生成式AI来解决具身智能相关研究中泛化性的挑战。EmbodiedGen由六个关键模块组成：
图像到3D、文本到3D、纹理生成、关节对象生成、场景生成和布局生成。该项目已在GitHub上开源。欢迎关注我们的工作，并随时在Hugging Face Spaces上试用演示。