EMLoC：基于模拟器的内存高效微调，结合 LoRA 校正

开源基础模型已得到迅速采纳和发展，在不同领域实现了强大的通用能力。然而，对于大多数用户来说，由于显著超出推理所需的内存开销，为特定领域或个性化任务微调大型基础模型仍然极其昂贵。我们引入了EMLoC，一个基于模拟器的LoRA校正内存高效微调框架，它允许在与推理相同的内存预算内进行模型微调。EMLoC通过在小型下游校准集上使用激活感知奇异值分解（SVD）构建一个任务特定的轻量级模拟器。然后，通过LoRA在该轻量级模拟器上执行微调。为解决原始模型与压缩模拟器之间的失配问题，我们提出了一种新颖的补偿算法来校正微调后的LoRA模块，该模块因此可以合并到原始模型中用于推理。EMLoC支持灵活的压缩比和标准训练流程，使其适用于广泛的应用。大量实验表明，EMLoC在多个数据集和模态上均优于其他基线。此外，在不进行量化的情况下，EMLoC能够在单个24GB消费级GPU上微调一个38B模型——为个体用户带来了高效实用的模型适配。