忘却比较器：一个用于机器遗忘方法比较评估的可视化分析系统

机器遗忘 (Machine Unlearning, MU) 旨在从训练好的模型中移除目标训练数据，使被移除的数据不再影响模型的行为，从而履行数据隐私法中“被遗忘权”的义务。然而，我们观察到，在这个快速兴起的研究领域中，研究人员在分析和理解不同 MU 方法的行为时面临挑战，尤其是在 MU 的三个基本原则：准确性、效率和隐私方面。因此，他们经常依赖聚合指标和临时评估，这使得准确评估方法之间的权衡变得困难。为了弥补这一空白，我们引入了一个可视化分析系统 Unlearning Comparator，旨在促进对 MU 方法的系统评估。我们的系统支持评估过程中的两项重要任务：模型比较和攻击模拟。首先，它允许用户在类别、实例和层级上比较两个模型的行为，例如由某种方法生成的模型和重新训练的基线模型，以便更好地理解遗忘后所做的更改。其次，我们的系统模拟成员推断攻击 (Membership Inference Attacks, MIA) 来评估方法的隐私性，其中攻击者试图确定特定数据样本是否属于原始训练集。我们通过一个案例研究，可视化分析了突出的 MU 方法来评估我们的系统，并证明它不仅帮助用户理解模型行为，还能获得可以指导改进 MU 方法的见解。