NeRF 是 3D 高斯溅射的得力助手

我们介绍了 NeRF-GS，一个联合优化神经辐射场 (NeRF) 和 3D 高斯泼溅 (3DGS) 的新颖框架。该框架利用 NeRF 固有的连续空间表示，以缓解 3DGS 的若干局限性，包括对高斯初始化的敏感性、有限的空间感知能力以及高斯间的弱相关性，从而提升其性能。在 NeRF-GS 中，我们重新审视了 3DGS 的设计，并将其空间特征与 NeRF 逐步对齐，使得两种表示能通过共享的 3D 空间信息在同一场景中得到优化。我们进一步通过优化隐式特征和高斯位置的残差向量，来解决两种方法在形式上的差异，以增强 3DGS 的个性化能力。在基准数据集上的实验结果表明，NeRF-GS 超越了现有方法，并取得了当前最佳性能。这一成果证实了 NeRF 和 3DGS 是互补而非竞争的关系，为结合 3DGS 和 NeRF 以实现高效 3D 场景表示的混合方法提供了新的见解。