Seedream 4.0: 面向下一代多模态图像生成

我们介绍了Seedream 4.0，一个高效、高性能的多模态图像生成系统，它在一个框架内统一了文本到图像（T2I）合成、图像编辑和多图像合成。我们开发了一个高效的扩散Transformer和一个强大的VAE，后者还可以显著减少图像token的数量。这使得我们的模型能够高效训练，并能快速生成原生高分辨率图像（例如1K-4K）。Seedream 4.0在包含各种分类法和知识密集型概念的数十亿文本-图像对上进行了预训练。跨数百个垂直场景的全面数据收集，加上优化的策略，确保了稳定、大规模的训练，并具有强大的泛化能力。通过整合经过精心微调的VLM模型，我们对T2I和图像编辑任务进行了多模态后训练。为了加速推理，我们集成了对抗性蒸馏、分布匹配和量化，以及投机解码。它在生成2K图像时实现了高达1.8秒的推理时间（不使用LLM/VLM作为PE模型）。全面的评估显示，Seedream 4.0在T2I和多模态图像编辑方面均取得了最先进的成果。特别是，它在复杂任务中展现了卓越的多模态能力，包括精确的图像编辑和上下文推理，并且还允许多图像参考，并能生成多个输出图像。这使得传统的T2I系统演变为更具交互性和多维度的创意工具，推动了生成式AI在创意和专业应用方面的界限。Seedream 4.0现已在https://www.volcengine.com/experience/ark?launch=seedream 上提供。