用于实时辐射场渲染的3D高斯溅射

辐射场方法最近彻底改变了使用多张照片或视频捕获的场景的新视角合成。然而，实现高视觉质量仍然需要训练和渲染成本高昂的神经网络，而最近的更快方法不可避免地会牺牲速度来换取质量。对于无界且完整的场景（而不是孤立的对象）和 1080p 分辨率渲染，当前没有方法可以实现实时显示速率。我们介绍了三个关键要素，使我们能够在保持有竞争力的训练时间的同时实现最先进的视觉质量，并且重要的是，实现高质量的实时（>= 30 fps）1080p 分辨率的新视角合成。首先，从相机校准期间生成的稀疏点开始，我们使用 3D 高斯分布来表示场景，这些高斯分布保留了连续体积辐射场的理想特性以进行场景优化，同时避免了在空旷空间中进行不必要的计算；其次，我们对 3D 高斯分布执行交错优化/密度控制，特别是优化各向异性协方差以实现场景的精确表示；第三，我们开发了一种快速的可见性感知渲染算法，该算法支持各向异性泼溅，并加速了训练并允许实时渲染。我们在几个已建立的数据集上展示了最先进的视觉质量和实时渲染。