Pixie：通过像素快速且可泛化的 3D 物理监督学习

从视觉信息中推断 3D 场景的物理属性是创建交互式和逼真虚拟世界的关键但又极具挑战性的任务。虽然人类直观地掌握弹性或刚度等材料特性，但现有方法通常依赖于缓慢的、针对每个场景的优化，这限制了它们的可推广性和应用。为了解决这个问题，我们引入了 PIXIE，一种新颖的方法，它训练一个可推广的神经网络，仅使用监督损失从 3D 视觉特征中预测多个场景的物理属性。一旦训练完成，我们的前馈网络就可以对合理的材质场进行快速推理，而结合高斯溅射等学习到的静态场景表示，则可以在外部力作用下实现逼真的物理模拟。为了促进这项研究，我们还收集了 PIXIEVERSE，这是已知最大的 3D 资产和物理材质注释对数据集之一。广泛的评估表明，PIXIE 在性能上比测试时优化方法好 1.46-4.39 倍，速度快几个数量级。通过利用 CLIP 等预训练的视觉特征，我们的方法也可以在仅接受合成数据训练的情况下，对真实世界场景进行零样本泛化。https://pixie-3d.github.io/