通过蝶形分解实现参数高效的正交微调

大型基础模型正变得无处不在，但从头开始训练它们成本高昂，令人望而却步。因此，将这些强大的模型高效地适应下游任务变得越来越重要。在本文中，我们研究了一种原则性的微调范式——正交微调（OFT）——用于下游任务的适应。尽管 OFT 展示了良好的泛化能力，但由于正交矩阵的高维度，它仍然使用了相当多的可训练参数。为了解决这个问题，我们首先从信息传输的角度检查 OFT，然后确定一些关键的理想特性，这些特性可以提高参数效率。受到 Cooley-Tukey 快速傅里叶变换算法如何实现高效信息传输的启发，我们提出了一种使用蝶形结构的高效正交参数化方法。我们将这种参数化应用于 OFT，创建了一种新颖的参数高效微调方法，称为正交蝶形（BOFT）。通过将 OFT 作为一种特殊情况包含在内，BOFT 引入了一个广义的正交微调框架。最后，我们对将大型视觉 Transformer、大型语言模型和文本到图像扩散模型适应视觉和语言中的各种下游任务进行了广泛的实证研究。