VeRA：基于向量的随机矩阵自适应

低秩自适应（LoRA）是一种流行的方法，它减少了微调大型语言模型时可训练参数的数量，但当扩展到更大的模型或部署大量按用户或按任务自适应的模型时，仍然面临严峻的存储挑战。在这项工作中，我们提出了基于向量的随机矩阵自适应（VeRA），与 LoRA 相比，它将可训练参数的数量减少了 10 倍，但仍保持相同的性能。它通过使用在所有层之间共享的一对低秩矩阵并学习小的缩放向量来实现这一点。我们展示了其在 GLUE 和 E2E 基准测试中的有效性，并展示了其在使用 Llama2 7B 模型时仅使用 140 万参数的指令跟随应用。