AI论文精选
⏶16

在嘈杂指令上的微调：对泛化和性能的影响

发表
由 Xingwei TanXingwei Tan 提交
作者: Ahmed AlajramiAhmed Alajrami, Xingwei TanXingwei Tan, Nikolaos Aletras

摘要

AI 生成总结
在指令微调数据中引入扰动可以增强大型语言模型对嘈杂指令的抵抗能力，并提高在基准测试中的性能。
指令调优在提高大型语言模型（LLMs）的任务解决能力方面发挥着至关重要的作用，并提升了它们在各种任务上生成有用响应的可用性。然而，以往的研究表明，它们对指令措辞的微小变化非常敏感。在本文中，我们探讨了在指令调优数据中引入扰动是否可以增强 LLMs 对噪声指令的抵抗能力。我们重点研究了指令调优（例如，移除停用词或打乱词序）对 LLMs 在广泛使用的基准测试（MMLU、BBH、GSM8K）的原始版本和扰动版本上的性能影响。我们进一步评估了学习动态和模型行为的潜在转变。令人惊讶的是，我们的结果表明，在扰动指令上进行指令调优，在某些情况下可以提高下游性能。这些发现强调了在指令调优中包含扰动指令的重要性，这可以使 LLMs 对有噪声的用户输入更加具有弹性。
查看 arXiv 页面查看 PDF

评论

Xingwei TanXingwei Tan
论文作者
论文提交者

指令微调对于增强大型语言模型（LLM）遵循任务和生成有用响应的能力至关重要。然而，先前的工作表明，LLM 对指令措辞的微小变化仍然很敏感。本文研究了在指令微调过程中引入扰动是否可以提高对噪声输入的鲁棒性。我们应用了诸如停止词删除和词语打乱等扰动，并在 MMLU、BBH 和 GSM8K 的原始和扰动版本上进行了评估。我们的结果表明，在扰动指令上进行微调，在某些情况下可以提高下游性能和稳定性。这些发现表明，在指令微调中纳入受控的噪声可能会产生更具韧性和适应性的 LLM。