⏶27
在3D高斯溅射中，基于正则化分数蒸馏采样的鲁棒3D遮罩部件级编辑
发表
由 
jihajang 提交
jihajang 提交作者: 
Hayeon Kim, Ji Ha Jang, Se Young Chun
Hayeon Kim, Ji Ha Jang, Se Young Chun摘要
三维神经表征和实例级编辑模型的最新进展，使得高效创建高质量三维内容成为可能。然而，实现精确的局部三维编辑仍然具有挑战性，特别是对于高斯溅射（Gaussian Splatting），这归因于不一致的多视角二维部分分割以及得分蒸馏采样（SDS）损失固有的模糊性。为解决这些局限性，我们提出了 RoMaP，一种新颖的局部三维高斯编辑框架，它能够实现精确且大幅度的部件级修改。首先，我们引入了一个鲁棒的三维遮罩生成模块，其中包含我们的三维几何感知标签预测（3D-GALP）方法，该方法利用球谐函数（SH）系数来建模视点相关的标签变化和软标签特性，从而在不同视点下生成准确且一致的部件分割。其次，我们提出了一种正则化的 SDS 损失，它将标准 SDS 损失与额外的正则化项相结合。具体而言，我们通过计划潜空间混合与部件（SLaMP）编辑方法引入了 L1 锚点损失，该方法生成高质量的局部编辑二维图像，并将修改限制在目标区域内，同时保持上下文连贯性。额外的正则化项，例如高斯先验移除，通过允许超出现有上下文的变化来进一步提高灵活性，而鲁棒的三维遮罩则可以防止意外编辑。实验结果表明，我们的 RoMaP 在重建和生成的高斯场景及物体上实现了最先进的局部三维编辑，无论是在定性还是定量方面，从而使得更鲁棒和灵活的部件级三维高斯编辑成为可能。代码可在 https://janeyeon.github.io/romap 获取。
3D 神经表示和实例级编辑模型的最新进展，使得高效创建高质量 3D 内容成为可能。然而，实现精确的局部 3D 编辑仍然具有挑战性，特别是对于高斯溅射（Gaussian Splatting）而言，这归因于不一致的多视角 2D 部件分割以及得分蒸馏采样（Score Distillation Sampling, SDS）损失固有的模糊性。为了解决这些局限性，我们提出了 RoMaP，一种新颖的局部 3D 高斯编辑框架，它能够实现精确且显著的部件级修改。首先，我们引入了一个鲁棒的 3D 掩码生成模块，其包含我们的 3D 几何感知标签预测（3D-Geometry Aware Label Prediction, 3D-GALP）方法，该方法使用球谐函数（spherical harmonics, SH）系数来建模视角相关的标签变化和软标签属性，从而在不同视角下生成准确且一致的部件分割。其次，我们提出了一种正则化的 SDS 损失，它将标准 SDS 损失与额外的正则化项相结合。具体而言，我们通过计划潜在混合和部件（Scheduled Latent Mixing and Part, SLaMP）编辑方法引入了 L1 锚点损失，该方法生成高质量的部件编辑 2D 图像，并将修改限制在目标区域，同时保持上下文连贯性。额外的正则化项，例如高斯先验去除，通过允许在现有上下文之外进行更改来进一步提高灵活性，而鲁棒的 3D 掩码则可防止意外编辑。实验结果表明，我们的 RoMaP 在重建和生成的高斯场景和对象上都实现了最先进的局部 3D 编辑，无论是定性还是定量方面，从而使得更鲁棒和灵活的部件级 3D 高斯编辑成为可能。代码可在此处获取：https://janeyeon.github.io/romap。