UniTEX:用于 3D 形状的通用高保真生成纹理

发表
yixunliangyixunliang 提交
作者: Yixun Liang, Kunming Luo, Xiao Chen, Rui Chen, Hongyu Yan, Weiyu Li, Jiarui Liu, Ping Tan

摘要

我们提出了 UniTEX,一种新颖的两阶段 3D 纹理生成框架,用于为 3D 资产创建高质量、一致的纹理。现有方法主要依赖于基于 UV 的图像修复来在将生成的多视图图像重新投影到 3D 形状上后细化纹理,这带来了与拓扑模糊相关的挑战。为了解决这个问题,我们提出通过直接在统一的 3D 函数空间中操作来绕过 UV 映射的限制。具体来说,我们首先提出通过纹理函数 (TFs) 将纹理生成提升到 3D 空间——纹理函数是一种连续的体积表示,它根据表面接近度将任何 3D 点映射到纹理值,与网格拓扑无关。然后,我们提出使用基于 Transformer 的大型纹理模型 (LTM) 直接从图像和几何输入预测这些 TF。为了进一步提高纹理质量并利用强大的 2D 先验,我们开发了一种先进的基于 LoRA 的策略,用于高效地适应大型扩散 Transformer (DiTs),以实现高质量的多视图纹理合成,作为我们的第一阶段。大量实验表明,与现有方法相比,UniTEX 实现了卓越的视觉质量和纹理完整性,为自动化 3D 纹理生成提供了一种通用且可扩展的解决方案。代码将在以下网址提供:https://github.com/YixunLiang/UniTEX
查看 arXiv 页面查看 PDF
UniTEX:用于 3D 形状的通用高保真生成纹理

评论

yixunliangyixunliang
论文提交者

新颖的纹理生成流水线,完整演示视频可在 https://www.youtube.com/watch?v=O8G1XqfIxck 查看