文本到图像扩散模型的个性化安全对齐

文本到图像扩散模型彻底改变了视觉内容生成，但现有的安全机制采用统一标准，往往未能考虑到个人用户偏好。这些模型忽略了由年龄、心理健康和个人信仰等因素塑造的各种安全边界。为了解决这个问题，我们提出了个性化安全对齐（PSA），一个允许用户特定控制生成模型中安全行为的框架。PSA 将个性化用户配置文件集成到扩散过程中，调整模型的行为以匹配个人安全偏好，同时保持图像质量。我们引入了一个新的数据集 Sage，它捕获用户特定的安全偏好，并通过交叉注意力机制整合这些配置文件。实验表明，PSA 在有害内容抑制方面优于现有方法，并且更好地将生成内容与用户约束对齐，实现了更高的 Win Rate 和 Pass Rate 分数。我们的代码、数据和模型已在 https://torpedo2648.github.io/PSAlign/ 公开提供。