MeshSplat: 通过高斯飞溅实现可泛化的稀疏视图表面重建

曲面重建在计算机视觉和图形学领域得到了广泛的研究。然而，现有的曲面重建方法在输入视图非常稀疏时，难以恢复精确的场景几何。为了解决这个问题，我们提出了 MeshSplat，一个通过高斯泼溅（Gaussian Splatting）实现的通用的稀疏视图曲面重建框架。我们的核心思想是利用 2DGS 作为桥梁，它连接了新视图合成与学习到的几何先验，然后将这些先验迁移到曲面重建。具体来说，我们集成了一个前馈网络来预测每个视图的像素对齐的 2DGS，这使得网络能够合成新视图图像，从而消除了对直接 3D 真值监督的需求。为了提高 2DGS 位置和方向预测的准确性，我们提出了一种加权 Chamfer 距离损失来正则化深度图，尤其是在输入视图的重叠区域，并提出一个法线预测网络，将 2DGS 的方向与单目法线估计器预测的法向量对齐。大量的实验验证了我们提出的改进的有效性，证明了我们的方法在通用的稀疏视图网格重建任务中取得了最先进的性能。项目主页：https://hanzhichang.github.io/meshsplat_web