⏶9
环境扩散 Omni:用坏数据训练好模型
发表
由
Giannis Daras 提交

作者: Giannis Daras,
Adrian Rodriguez-Munoz, Adam Klivans, Antonio Torralba, Constantinos Daskalakis
摘要
我们展示了如何利用低质量、合成和分布外图像来提高扩散模型的质量。通常,扩散模型是在经过精心策划的数据集上训练的,这些数据集来源于网络和其他来源的高度过滤数据池。我们表明,那些经常被丢弃的低质量图像蕴藏着巨大的价值。我们提出了Ambient Diffusion Omni,一个简单、原则性的框架,用于训练扩散模型,使其能够在训练期间从所有可用图像中提取信号。我们的框架利用了自然图像的两个特性——谱幂律衰减和局部性。我们首先通过使用高斯模糊、JPEG压缩和运动模糊合成损坏的图像成功训练扩散模型来验证我们的框架。随后,我们利用我们的框架实现了最先进的ImageNet FID,并展示了文本到图像生成建模在图像质量和多样性方面的显著改进。核心洞察是,噪声可以抑制我们实际观察到的混合分布与所需高质量分布之间的初始偏差。我们通过分析在扩散过程中从有偏数据学习与从有限无偏数据学习之间的权衡,为我们的方法提供了严格的理论依据。
一篇关于使用合成、低质量和分布外数据改进生成模型的新论文。
Twitter 帖子:https://x.com/giannis_daras/status/1934656404263928260
博客文章:https://giannisdaras.github.io/publication/ambient_omni