Captain Cinema：迈向短电影生成

我们提出了Captain Cinema，一个用于短电影生成的框架。给定电影故事情节的详细文本描述，我们的方法首先生成一系列关键帧，这些关键帧勾勒出整个叙事，从而确保故事情节和视觉外观（例如场景和角色）的长程连贯性。我们将此步骤称为自顶向下关键帧规划。这些关键帧随后作为视频合成模型的条件信号，该模型支持长上下文学习，以生成它们之间的时空动态。此步骤被称为自下而上视频合成。为了支持多场景长叙事电影作品的稳定高效生成，我们为多模态扩散变换器（MM-DiT）引入了一种交错训练策略，该策略专门适用于长上下文视频数据。我们的模型在一个专门策划的电影数据集中进行训练，该数据集由交错数据对组成。我们的实验表明，Captain Cinema在高质量和高效率地自动创建视觉连贯且叙事一致的短电影方面表现出色。项目页面：https://thecinema.ai