VITA-Audio: 用于高效大规模语音-语言模型的快速交错跨模态 Token 生成

随着对自然人机交互需求的增长，基于语音的系统受到越来越多的关注，因为语音是日常交流中最常见的形式之一。然而，现有的语音模型在流式传输时生成第一个音频标记仍存在高延迟，这为部署带来了显著瓶颈。为了解决这个问题，我们提出了 VITA-Audio，一个端到端的大型语音模型，能够快速生成音频-文本标记。具体而言，我们引入了一个轻量级的多模态标记预测 (MCTP) 模块，该模块可以在一次模型正向传播中高效地生成多个音频标记，这不仅加快了推理速度，还显著降低了流式传输场景中生成首个音频的延迟。此外，我们探索了一种四阶段渐进式训练策略，以在最大限度地减少语音质量损失的情况下实现模型加速。据我们所知，VITA-Audio 是首个能够在首次正向传播中生成音频输出的多模态大型语言模型，从而实现具有最小延迟的实时对话能力。VITA-Audio 是完全可复现的，并且仅使用开源数据进行训练。实验结果表明，我们的模型在 7B 参数规模下实现了 3~5 倍的推理速度提升，并且在自动语音识别 (ASR)、文本到语音 (TTS) 和口语问答 (SQA) 等多项基准测试中，显著优于同等模型大小的开源模型。