⏶7
BlockGaussian：基于自适应块的高斯泼溅实现高效的大规模场景新视角合成
04月12日发表
04月17日由 
Yongchang WU 提交
Yongchang WU 提交作者: Yongchang Wu, Zipeng Qi, Zhenwei Shi, Zhengxia Zou
Yongchang Wu, Zipeng Qi, Zhenwei Shi, Zhengxia Zou摘要
3D 高斯泼溅 (3DGS) 的最新进展已证明其在新视角合成任务中具有显著潜力。分而治之的范式已经实现了大规模场景重建，但场景分割、优化和合并过程仍然存在重大挑战。本文介绍了 BlockGaussian，这是一个新颖的框架，它结合了内容感知的场景分割策略和可见性感知的块优化，以实现高效和高质量的大规模场景重建。具体而言，我们的方法考虑了不同区域的内容复杂性变化，并在场景分割期间平衡了计算负载，从而实现高效的场景重建。为了解决独立块优化期间的监督不匹配问题，我们在单个块优化期间引入了辅助点，以对齐真值监督，从而提高了重建质量。此外，我们提出了一种伪视图几何约束，有效地缓解了块合并期间由空中漂浮物引起的渲染退化。在大型场景上的广泛实验表明，我们的方法在重建效率和渲染质量方面均实现了最先进的性能，优化速度提高了 5 倍，并且在多个基准测试上的平均 PSNR 提高了 1.21 dB。值得注意的是，BlockGaussian 显著降低了计算需求，从而可以在单个 24GB VRAM 设备上进行大规模场景重建。项目页面可在 https://github.com/SunshineWYC/BlockGaussian 获取。
3D 高斯泼溅 (3DGS) 的最新进展已证明其在 Novel View Synthesis 任务中具有显著潜力。分而治之的范式已实现大规模场景重建，但场景分割、优化和合并过程仍然存在重大挑战。本文介绍 BlockGaussian，这是一种新颖的框架，结合了内容感知的场景分割策略和可见性感知的块优化，以实现高效和高质量的大规模场景重建。具体而言，我们的方法考虑了不同区域的内容复杂性变化，并在场景分割期间平衡了计算负载，从而实现了高效的场景重建。为了解决独立块优化期间的监督不匹配问题，我们在单个块优化期间引入了辅助点，以对齐 ground-truth 监督，从而提高了重建质量。此外，我们提出了一种伪视图几何约束，可有效缓解块合并期间由空中漂浮物引起的渲染退化。在大型场景上的大量实验表明，我们的方法在重建效率和渲染质量方面均实现了最先进的性能，优化速度提高了 5 倍，并且在多个基准测试中平均 PSNR 提高了 1.21 dB。值得注意的是，BlockGaussian 显着降低了计算要求，从而能够在单个 24GB VRAM 设备上进行大规模场景重建。项目页面位于 https://github.com/SunshineWYC/BlockGaussian