新数据如何渗透到LLM知识中以及如何稀释它

大型语言模型通过积累基于梯度的更新来学习和持续学习，但是，关于单个新信息片段如何影响现有知识，从而导致有益的泛化和有问题的幻觉，仍然知之甚少。我们证明，当学习新信息时，LLM 表现出一种“启动”效应：学习一个新事实可能会导致模型在不相关的上下文中不恰当地应用该知识。为了系统地研究这种现象，我们引入了“Outlandish”，这是一个精心策划的包含 1320 个不同文本样本的数据集，旨在探究新知识如何渗透到 LLM 的现有知识库中。使用该数据集，我们表明，在学习新信息后，启动的程度可以通过测量学习前关键词的标记概率来预测。这种关系在不同的模型架构（PALM-2、Gemma、Llama）、大小和训练阶段都保持稳健。最后，我们开发了两种新颖的技术来调节新知识如何影响现有模型行为：（1）“垫脚石”文本增强策略和（2）“忽略-k”更新剪枝方法。这些方法将不希望的启动效应减少了 50-95\%，同时保留了模型学习新信息的能力。我们的发现既提供了关于 LLM 如何学习的经验性见解，也为提高语言模型中知识插入的特异性提供了实用工具。更多资料：https://sunchipsster1.github.io/projects/outlandish/