训练模型理解 (但不生成) 高风险数据

语言模型开发者通常会从其预训练数据中过滤掉高风险内容——例如有毒或受版权保护的文本——以防止模型生成类似输出。然而，彻底删除这类数据限制了模型识别并恰当响应有害或敏感内容的能力。在本文中，我们介绍了一种用于理解而非生成的选择性损失（SLUNG）预训练范式，通过这种范式，模型学习理解高风险数据，而不学习生成它。SLUNG 不同于统一应用下一个词元预测损失，它选择性地避免激励生成高风险词元，同时确保这些词元保留在模型的上下文窗口内。随着模型学习预测紧跟在高风险词元之后的低风险词元，它被迫理解高风险内容。通过我们的实验，我们表明 SLUNG 始终提高模型对高风险数据的理解能力（例如，识别有毒内容的能力），而不增加其生成（例如，模型响应的有毒性）。总的来说，我们的 SLUNG 范式使模型能够从那些否则会被过滤掉的高风险文本中受益。