KORE：通过面向知识的增强和约束增强大型多模态模型的知识注入

大型多模态模型在其预训练权重中编码了广泛的事实知识。然而， 其知识是静态且有限的，无法跟上现实世界的发展，这阻碍了持续的知识获取。 因此，有效的知识注入变得至关重要，涉及两个目标：知识适应（注入新知识）和知识保留（保留旧知识）。 现有方法通常难以学习新知识，并遭受灾难性遗忘。 为了解决这个问题，我们提出了 KORE，一种协同方法， 通过知识导向的增强和约束来将新知识注入大型多模态模型，同时保留旧知识。 与一般的文本或图像数据增强不同，KORE 自动将单个知识项转换为结构化和全面的知识， 以确保模型准确学习新知识，从而实现准确适应。 同时，KORE 将先前的知识存储在 LMM 线性层激活的协方差矩阵中， 并通过将原始权重投影到矩阵的零空间来初始化适配器， 定义了一个最小化对先前知识干扰的微调方向，从而实现强大的保留能力。 在各种 LMM（包括 LLaVA-v1.5-7B、LLaVA-v1.5-13B 和 Qwen2.5-VL-7B） 上的大量实验表明，KORE 实现了卓越的新知识注入性能，并有效缓解了灾难性遗忘。