PrimitiveAnything:基于自回归 Transformer 的人工设计 3D 基本体组合生成

发表
Yuze HeYuze He 提交
作者: Jingwen Ye, Yuze HeYuze He, Yanning Zhou, Yiqin Zhu, Kaiwen XiaoKaiwen Xiao, Yong-Jin Liu, Wei Yang, Xiao Han

摘要

形状基元抽象将复杂的3D形状分解为简单的几何元素,在人类视觉认知中起着至关重要的作用,并在计算机视觉和图形学中有着广泛的应用。虽然最近在3D内容生成方面取得了显著进展,但现有的基元抽象方法要么依赖于语义理解有限的几何优化,要么从小型、特定类别的数据集学习,难以推广到不同的形状类别。我们提出了 PrimitiveAnything,一个新颖的框架,将形状基元抽象重新定义为基元组合生成任务。PrimitiveAnything 包括一个形状条件基元 Transformer 用于自回归生成,以及一个无歧义的参数化方案,以统一的方式表示多种类型的基元。所提出的框架直接从大规模人工制作的抽象中学习基元组合过程,使其能够捕捉人类如何将复杂形状分解为基元元素。通过广泛的实验,我们证明 PrimitiveAnything 可以生成高质量的基元组合,这些组合更好地符合人类感知,同时在不同的形状类别中保持几何保真度。它有益于各种3D应用,并显示出在游戏中实现基于基元的 UGC(用户生成内容)的潜力。项目页面:https://primitiveanything.github.io
查看 arXiv 页面查看 PDF

评论