⏶11
Cora:使用少量步骤扩散的对应感知图像编辑
发表
由
Amirhossein Alimohammadi 提交
作者:
Amirhossein Almohammadi, Aryan Mikaeili, Sauradip Nag, Negar Hassanpour, Andrea Tagliasacchi, Ali Mahdavi-Amiri
摘要
图像编辑是计算机图形学、视觉和VFX中的一项重要任务,最近基于扩散的方法实现了快速高质量的结果。然而,需要显著结构变化(例如非刚性变形、对象修改或内容生成)的编辑仍然具有挑战性。现有的少步编辑方法会产生诸如不相关纹理等伪影,或者难以保留源图像的关键属性(例如姿态)。我们引入了 Cora,一个新颖的编辑框架,通过引入对应感知噪声校正和插值注意力图来解决这些局限性。我们的方法通过语义对应对源图像和目标图像之间的纹理和结构进行对齐,从而在必要时实现精确的纹理迁移并生成新内容。Cora 提供了内容生成和内容保留之间平衡的控制。大量实验表明,无论是定量还是定性地,Cora 在各种编辑(包括姿态变化、对象添加和纹理细化)中都擅长保持结构、纹理和身份。用户研究证实,Cora 提供了卓越的结果,优于其他替代方案。
Cora是一种快速图像编辑方法,它利用语义对应关系,仅通过4个扩散步骤即可实现精确编辑。它还通过注意力机制和结构对齐提供灵活性,让用户控制保留或改变原始图像的程度。