ObjFiller-3D:通过视频扩散模型实现一致的多视角3D修复

发表
Guangcong WangGuangcong Wang 提交
作者: Haitang Feng, Jie Liu, Jie Tang, Gangshan Wu, Beiqi Chen, Jianhuang Lai, Guangcong Wang

摘要

3D 修复通常依赖于多视角2D图像修复,其中不同修复视图固有的不一致性可能导致纹理模糊、空间不连续以及令人分心的视觉伪影。在追求精确逼真的3D物体补全时,这些不一致性带来了重大挑战,尤其是在需要高保真度和结构一致性的应用中。为了克服这些局限性,我们提出了ObjFiller-3D,这是一种新颖的方法,旨在实现高质量、一致性3D物体的补全和编辑。我们不采用传统的2D图像修复模型,而是利用精选的最先进视频编辑模型来填充3D对象的遮罩区域。我们分析了3D和视频之间的表示差距,并提出了一种视频修复模型用于3D场景修复的改编。此外,我们还引入了一种基于参考的3D修复方法,以进一步提高重建质量。在不同数据集上的实验表明,与先前的方法相比,ObjFiller-3D能够产生更忠实、更精细的重建(PSNR为26.6 vs. NeRFiller(15.9),LPIPS为0.19 vs. Instant3dit(0.25))。此外,它在实际3D编辑应用中展现了强大的部署潜力。项目页面:https://objfiller3d.github.io/ 代码:https://github.com/objfiller3d/ObjFiller-3D
查看 arXiv 页面查看 PDF

评论