⏶1
REINA: 基于正则化熵信息的损失函数，用于高效的同步语音翻译
发表
由 
Mahesh Nandwana 提交
Mahesh Nandwana 提交作者: Nameer Hirschkind, Joseph Liu, Mahesh Kumar Nandwana, Xiao Yu
Mahesh Kumar Nandwana, Xiao Yu摘要
同声语音翻译（SimulST）系统在接收音频的同时同步输出翻译文本或语音。此类系统面临着平衡翻译质量和延迟的重大挑战。我们引入了一种优化这种权衡的策略：仅在通过等待获得更多信息时才等待更多输入。基于此策略，我们提出了正则化熵信息自适应（REINA），这是一种使用现有非流式翻译模型训练自适应策略的新型损失。我们从信息论原理推导了 REINA，并表明 REINA 有助于将延迟/质量权衡的帕累托前沿推向比以往工作更优。利用 REINA，我们训练了一个 SimulST 模型，用于法语、西班牙语和德语与英语之间的互译。仅使用开源或合成生成的数据进行训练，我们为同等大小的模型实现了最先进（SOTA）的流式传输结果。我们还引入了一种流式传输效率指标，定量地表明 REINA 将延迟/质量权衡提高了多达 21%，与以往方法相比，并根据非流式基线 BLEU 分数进行标准化。
同步语音翻译（SimulST）系统在音频流输入的同时输出翻译文本或语音。这类系统面临着平衡翻译质量和延迟的重大挑战。我们引入了一种优化这种权衡的策略：只有当你通过等待获得更多信息时才等待。基于此策略，我们提出了正则化熵信息适应（REINA），这是一种新的损失函数，用于使用现有非流式翻译模型训练自适应策略。我们从信息论原理推导出 REINA，并表明 REINA 有助于将延迟/质量权衡的帕累托前沿推向比以往工作更好的位置。利用 REINA，我们训练了一个法国语、西班牙语和德语的 SimulST 模型，支持双向（源语言到目标语言以及目标语言到源语言）翻译到英语。仅使用开源或合成生成的数据进行训练，我们实现了同等大小模型的最先进（SOTA）流式传输结果。我们还引入了一个流式传输效率指标，定量地显示 REINA 相较于以往方法将延迟/质量权衡改善了多达 21%，该指标已根据非流式基线 BLEU 分数进行归一化。