⏶19
用于参数高效语音识别的大型语言模型重评分的低秩自适应
09月26日发表
04月12日由 
AK 提交
AK 提交作者: Yu Yu, 
Chao-Han Huck Yang, Jari Kolehmainen, Prashanth G. Shivakumar, Yile Gu, Sungho Ryu, Roger Ren, Qi Luo, Aditya Gourav, 
I-Fan Chen, Yi-Chieh Liu, Tuan Dinh, Ankur Gandhe, Denis Filimonov, Shalini Ghosh, Andreas Stolcke, Ariya Rastow, Ivan Bulyko
Chao-Han Huck Yang, Jari Kolehmainen, Prashanth G. Shivakumar, Yile Gu, Sungho Ryu, Roger Ren, Qi Luo, Aditya Gourav, I-Fan Chen, Yi-Chieh Liu, Tuan Dinh, Ankur Gandhe, Denis Filimonov, Shalini Ghosh, Andreas Stolcke, Ariya Rastow, Ivan Bulyko摘要
我们提出了一种基于低秩自适应（LoRA）的神经语言建模系统，用于语音识别输出重打分。尽管像 BERT 这样的预训练语言模型（LM）在第二遍重打分中表现出优异的性能，但扩展预训练阶段和将预训练模型适应特定领域的高计算成本限制了它们在重打分中的实际应用。在这里，我们提出了一种基于低秩分解的方法来训练重打分 BERT 模型，并使用仅占预训练参数一小部分（0.08%）的参数将其适应新领域。这些插入的矩阵通过判别训练目标以及基于相关的正则化损失进行优化。所提出的低秩自适应 Rescore-BERT（LoRB）架构在 LibriSpeech 和内部数据集上进行了评估，训练时间减少了 5.4 倍到 3.6 倍。