⏶4
ZPressor:可扩展前馈 3DGS 的瓶颈感知压缩
发表
由
Weijie Wang 提交

作者:
Weijie Wang, Donny Y. Chen, Zeyu Zhang,
Duochao Shi, Akide Liu, Bohan Zhuang

摘要
前馈 3D 高斯溅射(3DGS)模型最近作为一种新颖视图合成的有前途的解决方案出现,实现了无需逐场景 3DGS 优化的一次性推理。然而,其可扩展性根本上受限于编码器容量有限,导致随着输入视图数量的增加,性能下降或内存消耗过大。在这项工作中,我们通过信息瓶颈原理分析了前馈 3DGS 框架,并引入了 ZPressor,这是一个轻量级、与架构无关的模块,能够将多视图输入高效压缩为紧凑的潜在状态 Z,该状态保留了关键场景信息同时剔除冗余。具体而言,ZPressor 通过将视图划分为锚点(anchor)集和支持(support)集,并利用交叉注意力将来自支持视图的信息压缩到锚点视图中,形成压缩的潜在状态 Z,从而使现有的前馈 3DGS 模型能够在 80GB GPU 上扩展到 480P 分辨率下的 100 多个输入视图。我们展示了将 ZPressor 集成到几个最先进的前馈 3DGS 模型中,在适度输入视图条件下持续提升性能,并在两个大型基准测试 DL3DV-10K 和 RealEstate10K 上增强了密集视图设置下的鲁棒性。视频结果、代码和训练模型可在我们的项目主页上找到:https://lhmd.top/zpressor。
ZPressor 是一个即插即用模块,可压缩多视图输入,实现可扩展的前馈 3DGS。
项目页面:https://lhmd.top/zpressor
代码:https://github.com/ziplab/ZPressor