经认证的减轻最坏情况下的LLM版权侵权

大型语言模型（LLM）在预训练期间接触受版权保护的材料引发了部署后可能发生无意侵犯版权的担忧。这推动了“版权下架”（copyright takedown）方法的发展，这些是训练后方法，旨在防止模型生成与受版权保护内容实质上相似的内容。虽然目前的缓解方法对于平均情况风险在一定程度上有效，但我们证明它们忽略了最坏情况的版权风险，表现为存在长篇、逐字的引自受版权保护来源的内容。我们提出了 BloomScrub，这是一种极其简单却高效的推理时（inference-time）方法，可提供经过认证的版权下架。我们的方法反复交织引用检测和重写技术，以转换潜在侵权的部分。通过利用高效的数据草图（Bloom filters），我们的方法即使对于大规模的真实世界语料库也能实现可扩展的版权筛选。当长度超过阈值的引用无法移除时，系统可以拒绝响应，从而提供经过认证的风险降低。实验结果表明，BloomScrub 降低了侵权风险，保留了实用性，并通过自适应拒绝来适应不同程度的强制执行严格性。我们的结果表明，轻量级的推理时方法在版权预防方面可能出奇地有效。