⏶6
LightCache：用于视频生成的内存高效、无需训练的加速器
发表
由 
taesiri 提交
taesiri 提交作者: 
Yang Xiao, Gen Li, Kaiyuan Deng, Yushu Wu, Zheng Zhan, Yanzhi Wang, Xiaolong Ma, Bo Hui
Yang Xiao, Gen Li, Kaiyuan Deng, Yushu Wu, Zheng Zhan, Yanzhi Wang, Xiaolong Ma, Bo Hui摘要
AI 生成总结
该论文提出了特定阶段的策略来加速视频生成中的扩散模型推理，减少内存使用并保持质量。无训练加速已成为基于扩散模型的视频生成领域的一个先进研究方向。扩散模型推理中潜在变量的冗余为加速提供了自然的切入点。在本文中，我们将推理过程分解为编码、去噪和解码阶段，并观察到基于缓存的加速方法通常会导致后两个阶段的内存激增。为了解决这个问题，我们分析了不同阶段推理的特性，并提出了降低内存消耗的特定阶段策略：1）异步缓存交换。2）特征分块。3）切片潜在变量进行解码。同时，我们确保这三种策略引入的时间开销低于加速收益本身。与基线相比，我们的方法实现了更快的推理速度和更低的内存使用量，同时将质量下降控制在可接受的范围内。代码可在https://github.com/NKUShaw/LightCache 获取。
基于扩散模型的无训练加速已成为视频生成领域的一个先进研究方向。扩散模型推理中潜变量的冗余为加速提供了自然的切入点。在本文中，我们将推理过程分解为编码、去噪和解码阶段，并观察到基于缓存的加速方法经常导致后两个阶段出现大量的内存激增。为了解决这个问题，我们分析了不同阶段的推理特征，并提出了降低内存消耗的特定阶段策略：1）异步缓存交换。2）特征块。3）切片潜变量进行解码。同时，我们确保这三个策略引入的时间开销低于加速收益本身。与基线相比，我们的方法实现了更快的推理速度和更低的内存使用量，同时将质量下降控制在可接受的范围内。