主体驱动视频生成：解耦身份与运动

我们提出通过在零样本且无需额外微调的情况下，将主体特定学习与时序动态解耦，来训练一个主体驱动的定制化视频生成模型。传统的免微调视频定制方法通常依赖于大规模标注视频数据集，这计算成本高昂且需要大量标注。与先前方法不同，我们引入直接使用图像定制数据集来训练视频定制模型，将视频定制分解为两个方面：(1) 通过图像定制数据集进行身份注入，以及 (2) 利用少量未标注视频并通过图像到视频的训练方法保持时序建模。此外，在图像到视频微调期间，我们采用随机图像 token 丢弃和随机图像初始化，以减轻复制粘贴问题。为了进一步增强学习，我们在主体特定特征和时序特征的联合优化期间引入随机切换，以减轻灾难性遗忘。我们的方法在零样本设置下实现了强大的主体一致性和可扩展性，优于现有视频定制模型，证明了我们框架的有效性。