WaterDrum：用于以数据为中心的遗忘度量的水印技术

大型语言模型 (LLM) 遗忘在现实世界应用中至关重要，因为在这些应用中，有必要有效地移除某些用户的隐私数据、受版权保护的数据或有害数据的影响。然而，现有的以效用为中心的遗忘度量标准（基于模型效用）可能无法在以下现实情境中准确评估遗忘的程度，例如当 (a) 遗忘集和保留集包含语义相似的内容，(b) 从头开始在保留集上重新训练模型是不切实际的，和/或 (c) 模型所有者可以在不直接对 LLM 执行遗忘操作的情况下改进遗忘度量标准。本文提出了首个面向 LLM 的以数据为中心的遗忘度量标准，名为 WaterDrum，它利用鲁棒的文本水印技术来克服这些局限性。我们还引入了新的 LLM 遗忘基准数据集，这些数据集包含不同程度的相似数据点，并且可以使用 WaterDrum 来严格评估遗忘算法。我们的代码可在 https://github.com/lululu008/WaterDrum 获取，我们的新基准数据集发布在 https://huggingface.co/datasets/Glow-AI/WaterDrum-Ax。