时间对齐指导:扩散模型中的流形采样

发表
Sangmin BaeSangmin Bae 提交
作者: Youngrok Park, Hojung Jung, Sangmin Bae, Se-Young Yun

摘要

扩散模型作为生成模型取得了显著的成功。 然而,即使是训练良好的模型,在生成过程中也可能累积错误。 当应用任意引导来引导样本趋向期望的属性时,这些错误尤其成问题, 因为这往往会破坏样本的保真度。在本文中,我们提出了一种通用的解决方案, 以解决在扩散模型中观察到的“离流形”现象。 我们的方法利用时间预测器来估计每个时间步长上与期望数据流形的偏差, 并发现较大的时间间隔与生成质量下降相关。 然后,我们设计了一种新颖的引导机制,“时间对齐引导”(TAG), 在生成过程中,它在每个时间步长将样本吸引回期望的流形。 通过广泛的实验,我们证明了TAG在每个时间步长上始终能产生与期望流形紧密对齐的样本, 从而在各种下游任务中显著提高了生成质量。
查看 arXiv 页面查看 PDF

评论

Sangmin BaeSangmin Bae
论文提交者

TL;DR: 我们提出了时间对齐引导 (TAG) 框架,该框架通过在每个时间步将样本引导回数据流形,从而可证明地减轻扩散模型中的非流形错误,显著提高了各项任务的生成质量。