NeuroAda：激活每个神经元的潜力，实现参数高效微调

现有的参数高效微调（PEFT）方法主要分为两类：基于加法的和选择性原位适应。 前者，如 LoRA，引入额外的模块以使模型适应下游任务，提供强大的内存效率。 然而，它们的表示能力通常有限，不适用于细粒度适应。 相比之下，后者直接微调原始模型参数中精心选择的子集， 允许更精确和有效的适应，但代价是显著增加内存消耗。 为了协调这种权衡，我们提出了 NeuroAda，一种新颖的 PEFT 方法，它能够在保持高内存效率的同时实现细粒度模型微调。 我们的方法首先识别重要参数（即网络内的连接）， 如在选择性适应中一样，然后为这些选定的参数引入旁路连接。 在微调期间，仅更新旁路连接，使原始模型参数保持冻结。 在涵盖自然语言生成和理解的 23+ 个任务上的实证结果表明，NeuroAda 以少于 0.02% 的可训练参数实现了最先进的性能，同时将 CUDA 内存使用量减少了高达 60%。我们在此发布代码：https://github.com/FightingFighting/NeuroAda.git。