⏶10
FlexPainter:灵活且多视图一致的纹理生成
发表
由
Dongyu Yan 提交

作者:
Dongyu Yan, Leyi Wu, Jiantao Lin, Luozhou Wang, Tianshuo Xu, Zhifei Chen,
Zhen Yang, Lie Xu, Shunsi Zhang,
Yingcong Chen

摘要
纹理贴图制作是 3D 建模的重要组成部分,它决定了渲染质量。最近,基于扩散的方法为纹理生成开辟了新途径。然而,受限于控制灵活性和提示模态,可能会阻碍创作者生成所需的结果。此外,生成的多个视图图像之间存在不一致性,往往会导致纹理生成质量不佳。为了解决这些问题,我们引入了 FlexPainter,一种新颖的纹理生成管道,它支持灵活的多模态条件引导并实现高度一致的纹理生成。我们构建了一个共享的条件嵌入空间,以实现不同输入模态之间的灵活聚合。利用这种嵌入空间,我们提出了一种基于图像的 CFG 方法来分解结构和风格信息,实现基于参考图像的风格化。利用图像扩散先验中的 3D 知识,我们首先使用网格表示同时生成多视图图像,以增强全局理解。同时,我们在扩散采样期间提出了视图同步和自适应加权模块,以进一步确保局部一致性。最后,结合 3D 感知纹理补全模型和纹理增强模型,生成无缝、高分辨率的纹理贴图。全面的实验表明,我们的框架在灵活性和生成质量方面均显著优于现有最先进方法。
https://cdn-uploads.huggingface.co/production/uploads/64049ae20ab5e22719f35103/vrvcPFOc6lYjC6OjkdfTx.mp4