MANCE：流形感知概念擦除

概念擦除旨在从表示中删除目标概念，同时保留其中编码的其他信息。这很困难，因为表示编码了许多通常与擦除目标相关的概念，因此删除目标可能会损害它们。我们提出了流形约束假设（MCH）：如果自然表示集中在结构化的低维流形上，那么干预措施应限制在该流形上，并在干预过程中更好地保留表示中编码的其他信息。我们在一种新的概念擦除方法中实例化了MCH：流形感知概念擦除（MANCE）。MANCE使用来自预测目标概念的分类器的信号对表示进行迭代更新。我们使用从自然输入获得的表示来估计流形，然后将概念删除更新投影到估计的流形上。我们对涵盖文本和视觉的119个设置进行了广泛评估，包括13个语言模型、三个NLP概念和40个CelebA-CLIP属性。在先前方法的基础上采用MANCE显示出持续改进的泄露结果。我们还引入了MANCE+和MANCE++，它们在采用MANCE之前预置了一个闭式擦除算法，相对于匹配的全空间更新，实现了更好的泄露-外科性权衡。MANCE++，我们最好的方法，在非线性概念擦除方面取得了最先进的结果。这些结果支持MCH在擦除设置中的作用：干预措施应限制在自然表示流形上。