从条件数角度看模型免疫

模型免疫旨在预训练难以在有害任务上进行微调但仍能在其他无害任务上保持其效用的模型。尽管先前的研究已经为图像生成模型的免疫提供了经验证据，但关于何时可以进行免疫以及免疫模型的精确定义仍不明确。在这项工作中，我们提出了一个基于 Hessian 矩阵条件数的框架，用于分析线性模型的模型免疫。基于此框架，我们设计了一种包含正则化项的算法，以控制预训练后的条件数。在线性模型和非线性深度网络上的实证结果表明了所提出算法在模型免疫上的有效性。代码可在 https://github.com/amberyzheng/model-immunization-cond-num 获取。