DiMeR: 解耦网格重建模型

随着大规模 3D 数据集的出现，前馈 3D 生成模型，例如大型重建模型 (LRM)，已获得广泛关注并取得了显著成功。然而，我们观察到 RGB 图像经常导致相互冲突的训练目标，并且在几何重建方面缺乏必要的清晰度。在本文中，我们重新审视与网格重建相关的归纳偏置，并引入 DiMeR，这是一种新颖的、解耦的双流前馈模型，用于稀疏视图网格重建。其核心思想是将输入和框架都解耦成几何和纹理两部分，从而根据奥卡姆剃刀原理降低了各部分的训练难度。考虑到法线贴图与几何体严格一致并能准确捕捉表面变化，我们将法线贴图作为几何分支的独占输入，以降低网络输入和输出之间的复杂性。此外，我们改进了网格提取算法，引入了 3D 真值监督。至于纹理分支，我们使用 RGB 图像作为输入来获得带纹理的网格。总的来说，DiMeR 在各种任务中展现出强大的能力，包括稀疏视图重建、单图像到 3D 和文本到 3D。大量实验表明，DiMeR 在 GSO 和 OmniObject3D 数据集上显著优于现有方法，Chamfer Distance 提高了 30% 以上。