GeRe：通过通用样本回放，实现在LLM持续学习中高效抗遗忘

大型语言模型（LLMs）的持续学习能力对于推进通用人工智能至关重要。然而，在不同领域对LLMs进行持续微调常常遭受灾难性遗忘，其特点是：1）其通用能力显著遗忘；2）先前学习任务的性能急剧下降。为了以一种简单而稳定的方式同时解决这两个问题，我们提出了通用样本回放（GeRe），这是一个利用常用预训练文本进行高效防遗忘的框架。除了在GeRe下重新审视最流行的基于回放的实践外，我们还进一步利用神经状态引入了一种增强的激活状态约束优化方法，使用基于阈值的边界（TM）损失，该方法在回放学习期间保持激活状态的一致性。我们首次验证了少量固定的预收集通用回放样本足以解决这两个问题——既能保持通用能力，又能提升顺序任务的整体性能。事实上，前者可以固有地促进后者。通过受控实验，我们在GeRe框架下系统地比较了TM与不同回放策略，包括香草标签拟合、通过KL散度的logit模仿以及通过L1/L2损失的特征模仿。结果表明，TM持续提升性能并表现出更好的鲁棒性。我们的工作为未来LLMs的高效回放铺平了道路。我们的代码和数据可在https://github.com/Qznan/GeRe获取。