面向大规模神经辐射场的异构场景专家混合学习

近期在处理大规模场景的 NeRF 方法突显了场景分解对于实现可扩展 NeRF 的重要性。尽管取得了不错的可扩展性，但仍有几个关键问题尚未充分探索，即可学习的分解、场景异质性建模和建模效率。在本文中，我们提出了 Switch-NeRF++，一个异构哈希专家混合 (HMoHE) 网络，它在一个统一的框架内解决了这些挑战。它是一个高度可扩展的 NeRF，能够以端到端的方式高效地学习大规模场景的异构分解和异构 NeRF。在我们的框架中，一个门控网络学习分解场景，并将 3D 点分配给专门的 NeRF 专家。通过我们提出的稀疏门控专家混合 (MoE) NeRF 框架，这个门控网络与专家网络协同优化。我们集成了基于哈希的门控网络和不同的异构哈希专家。基于哈希的门控机制能够高效地学习大规模场景的分解。不同的异构哈希专家包含不同分辨率范围的哈希网格，从而能够有效学习不同场景部分的异构表示。这些设计选择使得我们的框架成为一个用于真实世界大规模场景建模的端到端、高度可扩展的 NeRF 解决方案，以实现高质量和高效率。我们在现有的大规模 NeRF 数据集以及来自 UrbanBIS 的一个包含超大规模场景 (>6.5平方公里) 的新数据集上评估了我们的精度和可扩展性。大量实验表明，我们的方法可以轻松扩展到各种大规模场景，并达到最先进的场景渲染精度。此外，与 Switch-NeRF 相比，我们的方法显示出显著的效率，训练速度提升 8 倍，渲染速度提升 16 倍。代码将发布在 https://github.com/MiZhenxing/Switch-NeRF。