COSPADI：通过校准引导的稀疏字典学习压缩大型语言模型

大型语言模型（LLMs）的训练后压缩很大程度上依赖于低秩权重近似，它在一个共享的低维子空间中表示权重矩阵的每一列。虽然这是一种计算效率高的策略，但施加的结构约束是僵化的，并且可能导致模型准确性明显下降。在这项工作中，我们提出了 CoSpaDi（通过稀疏字典学习进行压缩），一种新颖的无需训练的压缩框架，它用一个密集的字典和一个列稀疏的系数矩阵来代替低秩分解，从而更灵活地进行结构化稀疏分解。这种表述允许联合子空间表示：原始权重矩阵的不同列在由自适应选择的字典原子跨越的不同子空间中近似，提供了比单个不变基更大的表现力。至关重要的是，CoSpaDi 利用一个小的校准数据集来优化分解，使得压缩的投影层的输出激活与原始层的输出激活非常匹配，从而最大限度地减少了功能重构误差，而不是仅仅进行权重近似。这种数据感知策略在合理的压缩比下，无需任何微调即可更好地保留模型保真度。此外，由此产生的结构稀疏性允许高效的稀疏-密集矩阵乘法，并且与训练后量化兼容，以获得进一步的内存和延迟增益。我们在每层和每组设置下，在 20%-50% 的压缩率下，对多个 Llama 和 Qwen 模型评估了 CoSpaDi，在准确性和困惑度方面均一致优于最先进的数据感知低秩方法。我们的结果确立了结构稀疏字典学习作为高效 LLM 部署的传统低秩方法的有力替代方案。