SeqTex：在视频序列中生成网格纹理

训练原生3D纹理生成模型仍然是一个基础但具有挑战性的问题，这主要归因于大规模、高质量3D纹理数据集的有限可用性。这种稀缺性阻碍了模型在真实世界场景中的泛化能力。为了解决这个问题，大多数现有方法都微调基础图像生成模型，以利用其学习到的视觉先验知识。然而，这些方法通常只生成多视图图像，并依赖后处理来生成UV纹理贴图——这是现代图形管线中必不可少的表示。这种两阶段管线常常导致误差累积和3D表面上的空间不一致性。在本文中，我们介绍了一种新颖的端到端框架SeqTex，它利用预训练视频基础模型中编码的视觉知识，直接生成完整的UV纹理贴图。与以往孤立建模UV纹理分布的方法不同，SeqTex将该任务重新表述为一个序列生成问题，使模型能够学习多视图渲染和UV纹理的联合分布。这种设计有效地将视频基础模型中一致的图像空间先验知识转移到UV域。为了进一步提升性能，我们提出了几项架构创新：解耦的多视图和UV分支设计；几何感知注意力机制，以指导跨域特征对齐；以及自适应标记分辨率，以在保持计算效率的同时保留精细纹理细节。综上所述，这些组件使SeqTex能够充分利用预训练视频先验知识，并无需后处理即可合成高保真UV纹理贴图。大量实验表明，SeqTex在图像条件和文本条件的3D纹理生成任务上均实现了最先进的性能，具有卓越的3D一致性、纹理-几何对齐和真实世界泛化能力。