Muddit：用统一离散扩散模型解放超越文本到图像的生成

统一生成模型旨在处理跨模态的多样化任务——如文本生成、图像生成和视觉-语言推理——都在单一架构和解码范式内实现。自回归统一模型由于顺序解码导致推理速度慢，而非自回归统一模型由于预训练骨干网络有限，泛化能力较弱。我们引入了Muddit，一个统一离散扩散Transformer，能够在文本和图像模态上实现快速并行生成。与之前从头开始训练的统一扩散模型不同，Muddit将预训练文本到图像骨干网络中的强大视觉先验与轻量级文本解码器整合在一起，在统一架构下实现了灵活高质量的多模态生成。实证结果表明，Muddit在质量和效率方面，相较于显著更大的自回归模型，实现了有竞争力或更优越的性能。这项工作突显了纯粹离散扩散在配备强大视觉先验后，作为统一生成的可扩展且有效骨干网络的潜力。