⏶53
OmniPart:基于语义解耦和结构凝聚的零件感知三维生成
发表
由
yao teng 提交

作者: Yunhan Yang,
Yufan Zhou, Yuan-Chen Guo, Zi-Xin Zou,
Yukun Huang, Ying-Tian Liu,
Hao Xu, Ding Liang, Yan-Pei Cao, Xihui Liu


摘要
创建具有显式、可编辑部件结构的3D资产对于推动交互式应用至关重要,然而大多数生成方法仅产生整体形状,限制了其实用性。我们引入了OmniPart,这是一个用于部件感知型3D对象生成的新颖框架,旨在实现组件之间高度的语义解耦,同时保持稳固的结构凝聚力。OmniPart独特地将这一复杂任务解耦为两个协同阶段:(1) 一个自回归结构规划模块,生成可控、可变长度的3D部件边界框序列,并由灵活的2D部件掩码关键性地引导,这些掩码允许对部件分解进行直观控制,而无需直接对应关系或语义标签;以及(2) 一个空间条件整流流模型,该模型从预训练的整体3D生成器高效适配而来,在规划好的布局中同时且一致地合成所有3D部件。我们的方法支持用户定义的部件粒度、精确局部化,并支持多样化的下游应用。广泛的实验表明,OmniPart实现了最先进的性能,为更具可解释性、可编辑性和多功能性的3D内容铺平了道路。
项目页面: https://omnipart.github.io/
https://cdn-uploads.huggingface.co/production/uploads/6427e08288215cee63b1c44d/iu1cPj9oo5Y-8WGydK0XH.mp4