感知流匹配用于少量步骤生成建模

我们提出了感知流匹配（PFM），一个简单而有效的框架，用于流匹配模型中的少量步骤生成。PFM不是在传统的VAE潜在空间中执行速度回归，而是使用预训练的感知模型在感知特征空间中监督流匹配。这一简单的改变显著提高了流匹配模型的少量步骤生成能力，将采样步骤从35-50步减少到4-8步，同时保持生成质量。与现有的加速和蒸馏方法不同，PFM既不需要教师模型，也不需要辅助评分网络，并且可以以最小的修改集成到标准流匹配训练管道中。在图像生成、视频生成和图像编辑任务上的大量实验表明，PFM始终能产生高质量的结果，同时比现有的基于蒸馏的方法产生更少的伪影。我们进一步表明，感知监督将回归最小化器从均值搜索转向模式搜索，使预测偏向于在粗略少量步骤积分下保持准确的流形内模式。我们的结果揭示，在适当的表示空间中进行监督时，标准的流匹配训练可以自然地产生高质量的少量步骤生成器。我们希望这一见解能激发未来对高效生成建模中表示感知目标的研究。