HiWave:通过小波扩散采样实现免训练高分辨率图像生成

发表
Seyedmorteza SadatSeyedmorteza Sadat 提交
作者: Tobias Vontobel, Seyedmorteza SadatSeyedmorteza Sadat, Farnood Salehi, Romann WeberRomann M. Weber

摘要

扩散模型已成为图像合成领域的主流方法,展现出卓越的真实感和多样性。然而,在高分辨率下训练扩散模型仍然计算成本过高,并且现有的零样本生成技术在合成超出训练分辨率的图像时,常会产生伪影,包括对象重复和空间不连贯。在本文中,我们引入了HiWave,这是一种无需训练的零样本方法,它利用预训练的扩散模型,显著增强了超高分辨率图像合成中的视觉保真度和结构连贯性。我们的方法采用两阶段流水线:首先从预训练模型生成基础图像,然后进行分块DDIM反演步骤和新颖的基于小波的细节增强模块。具体而言,我们首先利用反演方法导出初始噪声向量,这些向量能够保留基础图像的全局连贯性。随后,在采样过程中,我们的小波域细节增强器保留了基础图像的低频分量以确保结构一致性,同时选择性地引导高频分量以丰富精细细节和纹理。使用Stable Diffusion XL进行的广泛评估表明,HiWave有效地缓解了先前方法中常见的视觉伪影,实现了卓越的感知质量。一项用户研究证实了HiWave的性能,在超过80%的比较中,HiWave优于最先进的替代方法,突出了其在不需重新训练或修改架构的情况下,生成高质量、超高分辨率图像的有效性。
查看 arXiv 页面查看 PDF

评论

Seyedmorteza SadatSeyedmorteza Sadat
论文作者
论文提交者

TLDR: HiWave是一种简单、无需训练的方法,用于合成超出扩散模型原始训练分辨率的高分辨率图像。它采用分块的DDIM反演,并结合基于小波的细节增强模块,以生成连贯、高度细节化的4K图像,且不会出现对象重复。

RJ HonickyRJ Honicky

你打算发布你的代码吗?

Seyedmorteza SadatSeyedmorteza Sadat
论文作者
论文提交者

由于DRS版权政策的限制,我们无法公开发布代码。然而,考虑到论文中提供的细节,我们的方法应该很容易在DemoFusion的基础上实现。

Walter MaharWalter Mahar

当然不是。哈哈。我今天是个悲观主义者。