TUNA：驯服统一视觉表示，实现原生统一多模态模型

统一多模态模型（UMMs）旨在在单一框架内联合执行多模态理解和生成。我们提出了TUNA，一个原生UMM，通过将VAE编码器与表示编码器级联，构建了一个统一的连续视觉表示。这种统一的表示空间允许图像和视频的端到端处理，用于理解和生成任务。与以前采用解耦表示的UMMs相比，TUNA的统一视觉空间避免了由独立编码器引入的表示格式不匹配问题，在理解和生成方面均优于解耦方案。此外，我们观察到更强的预训练表示编码器在所有多模态任务中始终能带来更好的性能，突出了表示编码器的重要性。最后，在这种统一设置下，对理解和生成数据进行联合训练，使得两个任务能够相互受益而非相互干扰。我们对多模态理解和生成基准的广泛实验表明，TUNA在图像和视频理解、图像和视频生成以及图像编辑方面均取得了最先进的成果，证明了其统一表示设计的有效性和可扩展性。