⏶7
Distilled-3DGS: 蒸馏三维高斯泼溅
发表
由 
Guangcong Wang 提交
Guangcong Wang 提交作者: Lintao Xiang, Xinkai Chen, Jianhuang Lai, Guangcong Wang
Guangcong Wang摘要
3D高斯泼溅（3DGS）在新的视图合成（NVS）方面表现出了卓越的功效。然而，它存在一个显著的缺点：实现高保真渲染通常需要大量的3D高斯，导致内存消耗和存储需求巨大。为了解决这一挑战，我们提出了第一个面向3DGS的知识蒸馏框架，该框架包含各种教师模型，包括基础3DGS、噪声增强变体和dropout正则化版本。这些教师的输出被聚合起来，以指导轻量级学生模型的优化。为了蒸馏隐藏的几何结构，我们提出了一个结构相似性损失，以增强学生模型和教师模型之间空间几何分布的一致性。通过在各种数据集上的全面定量和定性评估，我们提出的Distilled-3DGS（一个简单而有效的框架，没有任何花哨的功能）在渲染质量和存储效率方面均取得了与最先进方法相比有希望的渲染结果。项目主页：https://distilled3dgs.github.io 。代码：https://github.com/lt-xiang/Distilled-3DGS 。
3D 高斯泼溅（3DGS）在新的视角合成（NVS）方面展现出了卓越的效率。然而，它也存在一个显著的缺点：实现高保真渲染通常需要大量的 3D 高斯点，这会导致大量的内存消耗和存储需求。为了解决这一挑战，我们提出了首个针对 3DGS 的知识蒸馏框架，该框架包含多种教师模型，包括标准的 3DGS、带噪声增强的变体以及经过 dropout 正则化的版本。这些教师的输出被聚合起来，以指导一个轻量级学生模型的优化。为了提炼隐藏的几何结构，我们提出了一种结构相似性损失，以提高学生模型和教师模型之间空间几何分布的一致性。通过在不同数据集上的全面定量和定性评估，我们提出的 Distilled-3DGS，一个简单而有效的框架，没有任何花哨的功能，与最先进的方法相比，在渲染质量和存储效率方面都取得了令人鼓舞的结果。项目页面：https://distilled3dgs.github.io/ 代码：https://github.com/lt-xiang/Distilled-3DGS