NANO3D:一种无需掩码的高效 3D 编辑的无训练方法

发表
yejunliangyejunliang 提交
作者: Junliang Ye, Shenghao Xie, Ruowen Zhao, Zhengyi Wang, Hongyu Yan, Wenqiang Zu, Lei Ma, Jun Zhu

摘要

AI 生成总结
Nano3D 是一个无需训练的框架,集成了 FlowEdit 和 TRELLIS,用于精确的 3D 对象编辑,它使用前视图渲染和区域感知合并策略来保持结构保真度和视觉质量。
3D 对象编辑对于游戏、动画和机器人领域的交互式内容创作至关重要,然而当前的方法仍然效率低下、不一致,并且经常无法保留未编辑的区域。大多数方法依赖于编辑多视图渲染然后进行重建,这会引入伪影并限制实用性。为了解决这些挑战,我们提出了 Nano3D,这是一个无需训练的框架,可以实现精确、连贯的 3D 对象编辑,且无需蒙版。Nano3D 将 FlowEdit 集成到 TRELLIS 中,通过正面渲染进行局部编辑,并进一步引入了区域感知合并策略 Voxel/Slat-Merge,通过确保编辑区域和未编辑区域之间的一致性来适应性地保留结构保真度。实验表明,Nano3D 与现有方法相比,在 3D 一致性和视觉质量方面均表现出色。基于此框架,我们构建了首个大规模 3D 编辑数据集 Nano3D-Edit-100k,其中包含超过 100,000 个高质量的 3D 编辑对。这项工作解决了算法设计和数据可用性方面的长期挑战,显著提高了 3D 编辑的通用性和可靠性,并为前馈 3D 编辑模型的开发奠定了基础。项目页面:<a href="https://jamesyjl.github.io/Nano3D&quot;&gt;https://jamesyjl.github.io/Nano3D&lt;/a&gt;
查看 arXiv 页面查看 PDF

评论

yejunliangyejunliang
论文提交者

3D 物体编辑对于游戏、动画和机器人领域的交互式内容创作至关重要,但目前的方法效率低下、不一致,并且经常无法保留未编辑的区域。大多数方法依赖于编辑多视图渲染图然后进行重建,这会引入伪影并限制实用性。为了解决这些挑战,我们提出了 Nano3D,一个无需训练的框架,可实现精确连贯的 3D 物体编辑,无需掩码。Nano3D 将 FlowEdit 集成到 TRELLIS 中,通过前视图渲染图引导进行局部编辑,并进一步引入了区域感知合并策略 Voxel/Slat-Merge,通过确保编辑区域和未编辑区域之间的一致性来适应性地保持结构保真度。实验表明,与现有方法相比,Nano3D 在 3D 一致性和视觉质量方面均表现更优。基于此框架,我们构建了首个大规模 3D 编辑数据集 Nano3D-Edit-100k,其中包含超过 100,000 个高质量的 3D 编辑对。这项工作解决了算法设计和数据可用性方面的长期挑战,显著提高了 3D 编辑的通用性和可靠性,并为前馈 3D 编辑模型的开发奠定了基础。项目页面: https://jamesyjl.github.io/Nano3D/