基于影响近似的高效机器遗忘

由于日益增长的隐私问题，旨在使机器学习模型“遗忘”特定训练数据的机器反学习（machine unlearning）受到了越来越多的关注。在现有方法中，基于影响的反学习（influence-based unlearning）已成为一种重要方法，因为它能够在不重新训练的情况下估计单个训练样本对模型参数的影响。然而，该方法存在计算开销过大的问题，这源于需要计算所有训练样本和参数的Hessian矩阵及其逆矩阵，这使得它对于大规模模型和涉及频繁数据删除请求的场景不切实际。这凸显了遗忘的难度。受认知科学中“记忆比遗忘更容易”的启发，本文建立了记忆（增量学习）与遗忘（反学习）之间的理论联系。这种联系使得机器反学习可以从增量学习的角度来解决。与反学习（遗忘）中耗时的Hessian计算不同，增量学习（记忆）通常依赖于更高效的梯度优化，这支持了上述认知理论。基于这种联系，我们引入了影响近似反学习（Influence Approximation Unlearning, IAU）算法，用于从增量角度高效地进行机器反学习。广泛的实证评估表明，IAU在移除保证、反学习效率和可比模型效用之间实现了卓越的平衡，同时在各种数据集和模型架构上优于最先进的方法。我们的代码可在https://github.com/Lolo1222/IAU获取。