FlexPainter:灵活且多视图一致的纹理生成

发表
Dongyu YanDongyu Yan 提交
作者: Dongyu YanDongyu Yan, Leyi Wu, Jiantao Lin, Luozhou Wang, Tianshuo Xu, Zhifei Chen, Zhen YangZhen Yang, Lie Xu, Shunsi Zhang, Yingcong ChenYingcong Chen

摘要

纹理贴图制作是 3D 建模的重要组成部分,它决定了渲染质量。最近,基于扩散的方法为纹理生成开辟了新途径。然而,受限于控制灵活性和提示模态,可能会阻碍创作者生成所需的结果。此外,生成的多个视图图像之间存在不一致性,往往会导致纹理生成质量不佳。为了解决这些问题,我们引入了 FlexPainter,一种新颖的纹理生成管道,它支持灵活的多模态条件引导并实现高度一致的纹理生成。我们构建了一个共享的条件嵌入空间,以实现不同输入模态之间的灵活聚合。利用这种嵌入空间,我们提出了一种基于图像的 CFG 方法来分解结构和风格信息,实现基于参考图像的风格化。利用图像扩散先验中的 3D 知识,我们首先使用网格表示同时生成多视图图像,以增强全局理解。同时,我们在扩散采样期间提出了视图同步和自适应加权模块,以进一步确保局部一致性。最后,结合 3D 感知纹理补全模型和纹理增强模型,生成无缝、高分辨率的纹理贴图。全面的实验表明,我们的框架在灵活性和生成质量方面均显著优于现有最先进方法。
查看 arXiv 页面查看 PDF

评论