DeepCache：免费加速扩散模型

扩散模型最近在图像合成领域获得了前所未有的关注，这归功于它们卓越的生成能力。尽管它们功能强大，但这些模型通常会产生巨大的计算成本，这主要归因于顺序去噪过程和繁琐的模型大小。传统的压缩扩散模型的方法通常涉及广泛的再训练，这带来了成本和可行性方面的挑战。在本文中，我们从模型架构的角度介绍了一种新颖的无训练范式 DeepCache，它可以加速扩散模型。DeepCache 利用在扩散模型的顺序去噪步骤中观察到的固有时间冗余，在相邻的去噪阶段缓存和检索特征，从而减少冗余计算。利用 U-Net 的特性，我们重用高级特征，同时以非常低的成本更新低级特征。这种创新策略反过来实现了 Stable Diffusion v1.5 的 2.3 倍加速，CLIP 分数仅下降 0.05，LDM-4-G 的 4.1 倍加速，ImageNet 上的 FID 略微下降 0.22。我们的实验还表明，DeepCache 优于现有的需要再训练的剪枝和蒸馏方法，并且与当前的采样技术兼容。此外，我们发现，在相同的吞吐量下，DeepCache 有效地实现了与 DDIM 或 PLMS 相当甚至略有改进的结果。代码可在 https://github.com/horseee/DeepCache 获取。