FilMaster：融合电影原理与生成式AI，实现自动化电影生成

AI 驱动的内容创作在电影制作中已展现出潜力。然而，现有的电影生成系统难以实现电影创作原则，因此无法生成专业品质的影片，尤其缺乏多样的镜头语言和电影节奏。这导致了模板化的视觉效果和缺乏吸引力的叙事。为解决此问题，我们引入了 FilMaster，一个端到端的人工智能系统，它整合了真实的电影创作原则，用于生成专业级的电影，并产生可编辑的、行业标准的输出。FilMaster 基于两个关键原则构建：(1) 从大量的真实电影数据中学习电影摄影艺术，以及 (2) 模仿专业的、以观众为中心的后期制作工作流程。受这些原则启发，FilMaster 包含两个阶段：一个参考引导生成阶段，将用户输入转换为视频片段；以及一个生成性后期制作阶段，通过编排视觉和听觉元素以实现电影节奏，将原始素材转换为视听输出。我们的生成阶段重点介绍了一个多镜头协同 RAG 镜头语言设计模块，通过从包含 440,000 个电影片段的庞大语料库中检索参考片段，指导 AI 生成专业的镜头语言。我们的后期制作阶段通过设计一个以观众为中心的电影节奏控制模块来模拟专业工作流程，该模块包括粗剪和精剪过程，这些过程由模拟观众反馈提供信息，旨在有效整合视听元素以实现引人入胜的内容。该系统由生成式 AI 模型（如 (M)LLM 和视频生成模型）提供支持。此外，我们引入了 FilmEval，一个用于评估 AI 生成电影的综合基准。广泛的实验表明，FilMaster 在镜头语言设计和电影节奏控制方面表现出色，推动了生成式 AI 在专业电影制作领域的发展。