⏶9
DreamPoster：一种用于图像条件生成式海报设计的统一框架
发表
由 
Melodie Hu 提交
Melodie Hu 提交作者: Xiwei Hu, Haokun Chen, 
Zhongqi Qi, Hui Zhang, Dexiang Hong, Jie Shao, Xinglong Wu
Xiwei Hu, Haokun Chen, Zhongqi Qi, Hui Zhang, Dexiang Hong, Jie Shao, Xinglong Wu摘要
我们推出 DreamPoster，这是一个文生图（Text-to-Image）生成框架，它能根据用户提供的图像和文本提示，智能地合成高质量海报，同时保持内容保真度并支持灵活的分辨率和布局输出。具体来说，DreamPoster 基于我们的文生图模型 Seedream3.0 构建，以统一处理不同类型的海报生成任务。在数据集构建方面，我们提出了一个系统化的数据标注流程，可以精确标注海报图像中的文本内容和排版层级信息，同时采用全面的方法来构建配对数据集，其中包含源素材（如原始图形/文本）及其对应的最终海报成品。此外，我们实施了一种渐进式训练策略，使模型能够分层地学习多任务生成能力，同时保持高质量的生成效果。在我们测试基准上的评估表明，DreamPoster 优于现有方法，其可用率高达 88.55%，而 GPT-4o 和 SeedEdit3.0 的可用率分别为 47.56% 和 25.96%。DreamPoster 将在“即梦”及其他字节跳动应用中上线。
我们提出了 DreamPoster，一个文生图生成框架，它能够智能地从用户提供的图像和文本提示中合成高质量的海报，同时保持内容保真度并支持灵活的分辨率和布局输出。具体来说，DreamPoster 基于我们的 T2I 模型 Seedream3.0 构建，以统一处理不同海报生成类型。在数据集构建方面，我们提出了一种系统性数据标注流程，可以精确标注海报图像中的文本内容和排版层级信息，同时采用全面的方法论构建包含源材料（例如，原始图形/文本）及其相应最终海报输出的配对数据集。此外，我们实施了一种渐进式训练策略，使模型能够分层获取多任务生成能力，同时保持高质量生成。在我们的测试基准上的评估表明，DreamPoster 优于现有方法，实现了 88.55% 的高可用性率，而 GPT-4o 为 47.56%，SeedEdit3.0 为 25.96%。DreamPoster 将在即梦及其他字节跳动应用程序中上线。