⏶18
对齐你的流:扩展连续时间流图蒸馏
发表
由
Amirmojtaba Sabour 提交
作者:
Amirmojtaba Sabour, Sanja Fidler, Karsten Kreis
摘要
基于扩散和流的模型已成为最先进的生成建模方法,但它们需要许多采样步骤。一致性模型可以将这些模型精炼成高效的单步生成器;然而,与基于流和扩散的方法不同,当增加步数时,它们的性能不可避免地会下降,这一点我们通过分析和实证都得到了证明。流映射通过在一个步骤中连接任意两个噪声级别来推广这些方法,并在所有步数下保持有效。在本文中,我们介绍了两种用于训练流映射的新的连续时间目标,以及额外的新颖训练技术,从而推广了现有的一致性和流匹配目标。我们进一步证明,自动引导(autoguidance)可以提高性能,即在蒸馏过程中使用低质量模型进行引导,并且通过对抗性微调可以获得额外的提升,同时样本多样性损失最小。我们在具有挑战性的图像生成基准上广泛验证了我们的流映射模型(命名为 Align Your Flow),并使用小型高效的神经网络,在 ImageNet 64x64 和 512x512 上均实现了最先进的少步生成性能。最后,我们展示了文本到图像的流映射模型,其在文本条件合成方面超越了所有现有非对抗性训练的少步采样器。




Align Your Flow 是一个用于训练流图的框架,它概括了几种现有方法,包括流匹配和连续时间一致性模型。这篇论文介绍了关于一致性模型的新理论见解、两个用于流图的新训练目标,以及几种提高训练稳定性的技术。