在持续学习之前进行适应

持续学习（Continual Learning，CL）旨在使神经网络能够增量地获取新知识（可塑性），同时保留现有知识（稳定性）。尽管预训练模型（Pre-trained Models，PTM）在CL中变得举足轻重，但主流方法通常冻结PTM主干以保持稳定性，从而限制了其可塑性，尤其是在遇到增量任务中显著的领域差距时。相反，顺序微调整个PTM则有灾难性遗忘通用知识的风险，暴露了关键的稳定性-可塑性权衡。为了解决这一挑战，我们提出在核心CL过程（Adapting PTMs before the core CL process，ACL）之前进行PTM适应，这是一个新颖的框架，它在利用现有CL方法（例如提示调优）学习每个新任务之前，通过一个即插即用的适应阶段来细化PTM主干。ACL通过将嵌入与其原始类别原型对齐，同时使其远离其他类别，从而增强了可塑性，理论和经验上都表明它能平衡稳定性和可塑性。大量的实验表明，ACL显著提高了跨基准和集成方法的CL性能，为基于PTM的CL提供了一种多功能解决方案。