AI论文精选
⏶21

OBS-Diff: 扩散模型的一次性精确剪枝

发表
由 Sicheng FengSicheng Feng 提交
作者: Junhan ZHUJunhan Zhu, Hesong Wang, Mingluo Su, Zefang Wang, Huan WangHuan Wang

摘要

AI 生成总结
OBS-Diff 是一种新颖的一次性剪枝框架，能够以最小的质量损失和显著的推理加速来压缩大规模文本到图像的扩散模型。
虽然大型文本到图像扩散模型功能强大，但计算成本过高。现有的一次性网络剪枝方法由于扩散模型的迭代去噪特性，很难直接应用于它们。为了弥合这一差距，本文提出了OBS-Diff，一个新颖的一次性剪枝框架，能够对大型文本到图像扩散模型进行准确且无需训练的压缩。具体来说，(i) OBS-Diff revitalizes 了经典的 Optimal Brain Surgeon (OBS)，将其适应于现代扩散模型的复杂架构，并支持多种剪枝粒度，包括非结构化、N:M 半结构化和结构化（MHA 头和 FFN 神经元）稀疏性；(ii) 为了使剪枝标准与扩散过程的迭代动态保持一致，我们从误差累积的角度考察问题，提出了一种新颖的时间步感知 Hessian 构建方法，该方法结合了对数衰减加权方案，对早期时间步给予更大的重要性，以减轻潜在的误差累积；(iii) 此外，还提出了一种计算效率高的分组顺序剪枝策略，以分摊昂贵的校准过程。大量的实验表明，OBS-Diff 在扩散模型的一次性剪枝方面取得了最先进的成果，在视觉质量几乎没有下降的情况下实现了推理加速。
查看 arXiv 页面查看 PDF

评论

Sicheng FengSicheng Feng
论文提交者

大型文本到图像的扩散模型虽然强大，但计算成本高昂。现有的单次网络剪枝方法由于扩散模型的迭代去噪特性，很难直接应用于它们。为了弥合这一差距，本文提出了 OBS-Diff，一种新颖的单次剪枝框架，能够对大型文本到图像的扩散模型进行准确且无需训练的压缩。具体而言，(i) OBS-Diff revitalizes 了经典的 Optimal Brain Surgeon (OBS)，将其适配到现代扩散模型的复杂架构中，并支持各种剪枝粒度，包括非结构化、N:M 半结构化和结构化（MHA 头和 FFN 神经元）稀疏性；(ii) 为了使剪枝标准与扩散过程的迭代动态保持一致，通过从错误累积的角度审视问题，我们提出了一种新颖的时间步感知 Hessian 构建方法，该方法采用对数衰减加权方案，对早期时间步给予更大的重要性，以减轻潜在的错误累积；(iii) 此外，还提出了一种计算效率高的分组顺序剪枝策略，以分摊昂贵的校准过程。大量的实验表明，OBS-Diff 在扩散模型的单次剪枝方面达到了最先进的水平，在视觉质量仅有极小退化的情况下实现了推理加速。