⏶13
用于可重光照资产的离散化SDF高斯泼溅
发表
由
Boyuan Sun 提交
作者:
Zuo-Liang Zhu, Jian Yang, Beibei Wang
摘要
三维高斯溅射(3D Gaussian splatting, 3DGS)在新视角合成(NVS)任务中展现出其精细的表达能力和高效的渲染速度。然而,其在逆渲染(inverse rendering)中的应用仍面临若干挑战,因为高斯基元(Gaussian primitives)的离散性质使得几何约束难以应用。近期工作引入了符号距离场(signed distance field, SDF)作为一种额外的连续表示来规范由高斯基元定义的几何结构。这虽然提高了分解质量,但代价是增加了内存使用并使训练复杂化。与这些工作不同,我们引入了一种离散化SDF,通过在每个高斯中编码一个采样值来以离散方式表示连续SDF。这种方法使我们能够通过SDF到不透明度的转换将SDF与高斯不透明度关联起来,从而通过溅射渲染SDF并避免了光线步进(ray marching)的计算成本。关键挑战在于如何规范这些离散样本使其与底层SDF保持一致,因为离散表示很难直接应用基于梯度的约束(例如,Eikonal损失)。为此,我们将高斯投影到SDF的零水平集上,并强制其与溅射生成的表面对齐,即提出了一种基于投影的一致性损失。得益于离散化SDF,我们的方法实现了更高的重光照(relighting)质量,同时不额外增加高斯溅射本身的内存消耗,并避免了复杂的手动设计优化。实验结果表明,我们的方法优于现有基于高斯体的逆渲染方法。我们的代码已在https://github.com/NK-CS-ZZL/DiscretizedSDF上开源。
本文提出了一种新颖的方法,将离散的符号距离场(SDF)嵌入到3D高斯基元中,以增强逆向渲染的几何约束,与现有方法相比,在不增加额外内存或训练复杂性的情况下,实现了卓越的重打光质量。