探索大型语言模型的联邦剪枝

LLM 剪枝已成为压缩 LLM 的一项有前景的技术，使其能够部署在资源有限的设备上。然而，现有方法通常需要访问公开的校准样本，这在隐私敏感领域可能难以获得。为了解决这个问题，我们引入了 FedPrLLM，一个为保护隐私的 LLM 压缩而设计的综合性联邦剪枝框架。在 FedPrLLM 中，每个客户端只需根据其本地校准数据计算一个剪枝掩码矩阵，并与服务器共享以对全局模型进行剪枝。这种方法允许在了解每个客户端信息的同时对全局模型进行协同剪枝，同时保持本地数据的隐私性。此外，我们还进行了广泛的实验，探索 FedPrLLM 框架内的各种可能性，包括不同的比较组、剪枝策略以及权重缩放的决策。我们广泛的评估表明，在 FedPrLLM 框架内，采用层级比较且不进行权重缩放的一次性剪枝（one-shot pruning）是最佳选择。我们希望我们的工作能为未来在隐私敏感领域进行 LLM 剪枝的努力提供指导。我们的代码可在 https://github.com/Pengxin-Guo/FedPrLLM 获取。