ReplaceMe：通过层剪枝和线性变换进行网络简化

我们介绍 ReplaceMe，这是一种通用的免训练深度剪枝方法，它可以有效地将 Transformer 块替换为线性操作，同时在低压缩率下保持高性能。与需要额外训练或微调的传统剪枝方法不同，我们的方法仅需要一个小型校准数据集，用于估计线性变换以近似被剪枝的块。这个估计的线性映射可以与剩余的 Transformer 块无缝合并，从而无需任何额外的网络参数。我们的实验表明，ReplaceMe 持续优于其他免训练方法，并且与涉及大量重训练/微调和架构修改的最先进剪枝方法相比，仍具有高度竞争力。应用于多个大型语言模型 (LLMs) 时，ReplaceMe 在不进行任何训练或“修复”步骤的情况下，实现了高达 25% 的剪枝，同时在公开基准上保留了原始模型大约 90% 的性能，从而产生了极低的计算开销（参见图 1）。我们提供了一个开源库，实现了 ReplaceMe 以及几种最先进的深度剪枝技术，可在该仓库中找到。