语言模型的终身安全对齐

LLM 取得了令人瞩目的进展，但其不断增长的能力也使其面临高度灵活的越狱攻击，这些攻击旨在绕过安全对齐。虽然许多现有防御措施侧重于已知类型的攻击，但更关键的是让 LLM 准备好应对在部署过程中可能出现的未知攻击。为了解决这个问题，我们提出了一个终身安全对齐框架，使 LLM 能够持续适应新的和不断演变的越狱策略。我们的框架引入了两个组件之间的竞争设置：一个 Meta-Attacker，经过训练以主动发现新颖的越狱策略，以及一个 Defender，经过训练以抵抗它们。为了有效地预热 Meta-Attacker，我们首先利用 GPT-4o API 从大量与越狱相关的研究论文中提取关键见解。通过迭代训练，第一次迭代的 Meta-Attacker 在 RR 上取得了 73% 的攻击成功率 (ASR)，在 LAT 上使用单轮攻击取得了 57% 的转移 ASR。同时，Defender 逐步提高了其鲁棒性，最终将 Meta-Attacker 的成功率降低到仅 7%，从而使 LLM 在开放环境中的部署更安全、更可靠。代码可在 https://github.com/sail-sg/LifelongSafetyAlignment 获取。