Pro3D-Editor:一种用于一致且精确3D编辑的渐进式视图视角

发表
Nan ChenNan Chen 提交
作者: Yang Zheng, Mengqi Huang, Nan ChenNan Chen, Zhendong Mao

摘要

文本引导的 3D 编辑旨在精确编辑语义相关的局部 3D 区域,这在从 3D 游戏到电影制作的各种实际应用中具有巨大潜力。现有方法通常遵循一种视图不加区分的范式:不加区分地编辑 2D 视图并将其投影回 3D 空间。然而,它们忽略了不同的跨视图相互依赖性,导致多视图编辑不一致。在本研究中,我们认为理想的一致 3D 编辑可以通过渐进视图范式实现,该范式将编辑语义从编辑显著视图传播到其他编辑稀疏视图。具体来说,我们提出了 Pro3D-Editor,一个新颖的框架,主要包括主视图采样器 (Primary-view Sampler)、关键视图渲染器 (Key-view Render) 和全视图优化器 (Full-view Refiner)。主视图采样器动态采样并编辑最编辑显著的视图作为主视图。关键视图渲染器通过其视图专家混合低秩自适应 (MoVE-LoRA) 将编辑语义从主视图精确传播到其他关键视图。全视图优化器基于编辑后的多视图对 3D 对象进行编辑和优化。大量实验证明,我们的方法在编辑精度和空间一致性方面优于现有方法。
查看 arXiv 页面查看 PDF

评论

Nan ChenNan Chen
论文作者
论文提交者
此评论已隐藏。