PhysX：基于物理的 3D 资产生成

三维建模正从虚拟走向现实。现有的三维生成主要强调几何形状和纹理，而忽略了基于物理的建模。因此，尽管三维生成模型发展迅速，但合成的三维资产常常忽略丰富且重要的物理属性，这阻碍了它们在模拟和具身智能等物理领域的实际应用。作为应对这一挑战的初步尝试，我们提出了 PhysX，一个用于生成基于物理的三维资产的端到端范式。1) 为了填补物理标注三维数据集的关键空白，我们提出了 PhysXNet——首个基于物理的三维数据集，它在五个基本维度上进行了系统性标注：绝对尺度、材质、功能可见性、运动学和功能描述。具体来说，我们设计了一个基于视觉语言模型的可扩展“人在回路”标注流程，能从原始三维资产中高效地创建“物理优先”的资产。2) 此外，我们提出了 PhysXGen，一个用于生成基于物理的“图像到三维资产”的前馈框架，它将物理知识注入到预训练的三维结构空间中。具体而言，PhysXGen 采用双分支架构来显式建模三维结构与物理属性之间的潜在关联，从而在保持原生几何质量的同时，生成具有合理物理预测的三维资产。大量实验验证了我们框架的卓越性能和良好的泛化能力。所有代码、数据和模型都将公开发布，以促进生成式物理人工智能领域的未来研究。