紧凑三维高斯泼溅的最速下降密度控制

发表
Peihao WangPeihao Wang 提交
作者: Peihao Wang, Yuehao Wang, Dilin Wang, Sreyas Mohan, Zhiwen Fan, Lemeng Wu, Ruisi Cai, Yu-Ying Yeh, Zhangyang Wang, Qiang Liu, Rakesh Ranjan

摘要

三维高斯泼溅 (3DGS) 已成为一种强大的技术,用于实时、高分辨率的新颖视图合成。通过将场景表示为高斯基元的混合体,3DGS 利用 GPU 光栅化管线实现高效的渲染和重建。为了优化场景覆盖范围并捕捉精细细节,3DGS 采用了一种密集化算法来生成额外的点。然而,这个过程经常导致冗余点云,带来过多的内存使用、性能下降以及巨大的存储需求——这对在资源受限设备上的部署构成了重大挑战。为了解决这一局限性,我们提出了一个理论框架,它揭示并改进了 3DGS 中的密度控制。我们的分析表明,分裂对于逃离鞍点至关重要。通过一种优化理论方法,我们建立了密集化的必要条件,确定了子代高斯的最小数量,识别了最优参数更新方向,并为子代不透明度的归一化提供了分析解。基于这些洞察,我们引入了 SteepGS,它采用了最陡峭的密度控制,这是一种原则性的策略,可以在最小化损失的同时保持点云紧凑。SteepGS 在不损害渲染质量的情况下,实现了高斯点数量约 50% 的减少,显著提高了效率和可扩展性。
查看 arXiv 页面查看 PDF

评论

Peihao WangPeihao Wang
论文提交者

TL;DR 我们首先证明了对于高斯泼溅在优化过程中逃离鞍点,稠密化是必要的。然后我们推导出了一个用于最速损失下降的最优密度控制策略。 博客: https://vita-group.github.io/SteepGS/ 论文: https://arxiv.org/abs/2505.05587 GitHub: https://github.com/facebookresearch/SteepGS