FedSVD: 结合LoRA用于隐私联邦学习的自适应正交化

低秩适应 (LoRA) 将两个可训练的低秩矩阵的乘积引入冻结的预训练权重中，广泛应用于联邦学习 (FL) 中语言模型的有效微调。然而，当与差分隐私随机梯度下降 (DP-SGD) 结合时，LoRA 面临着显著的噪声放大：DP-SGD 扰动每个样本的梯度，而 LoRA 更新 (BA) 的矩阵乘法则加剧了这种效应。冻结其中一个矩阵（例如 A）可以减少噪声，但会限制模型表达能力，通常导致次优适应。为了解决这个问题，我们提出了 FedSVD，这是一种基于奇异值分解 (SVD) 引入全局重参数化的简单而有效的方法。在我们的方法中，每个客户端只优化矩阵 B 并将其传输到服务器。服务器聚合矩阵 B，使用先前的 A 计算乘积 BA，并通过 SVD 对结果进行重新分解。这产生了新的自适应矩阵 A，由 BA 的正交右奇异向量组成，以及更新的矩阵 B，其中包含剩余的 SVD 分量。这种重参数化避免了二次噪声放大，同时允许 A 更好地捕捉聚合更新的主方向。此外，A 的正交结构限制了 B 的梯度范数，并在 DP-SGD 下保留了更多信号，这已通过我们的理论分析得到证实。因此，FedSVD 在各种隐私设置和基准测试中始终提高了稳定性和性能，在隐私和非隐私制度下都优于相关基线。