正交微调：实现可扩展性

正交微调 (OFT) 提供了高度参数高效的适应能力，同时能防止灾难性遗忘，但其高运行时和内存需求限制了实际部署。我们发现 OFT 的核心计算瓶颈在于其以权重为中心的实现方式，这种方式依赖于成本高昂且具有立方复杂度的矩阵-矩阵乘法。为了克服这一点，我们提出了 OFTv2，这是一种以输入为中心的重构，它转而使用矩阵-向量乘法（即无矩阵计算），将计算成本降低到二次方。我们进一步引入了 Cayley-Neumann 参数化，这是一种高效的正交参数化，通过截断的 Neumann 级数近似 Cayley 变换中的矩阵求逆。这些改进使得 OFTv2 在不损害性能的情况下，训练速度最高可提高 10 倍，GPU 内存使用量降低 3 倍。此外，我们将 OFTv2 扩展到支持微调量化基础模型，并表明它在训练稳定性、效率和内存使用方面优于流行的 QLoRA。