AnyI2V：通过运动控制将任意条件图像动画化

视频生成领域的最新进展，特别是在扩散模型方面，推动了文本到视频 (T2V) 和图像到视频 (I2V) 合成技术的显著进步。然而，如何有效融合动态运动信号和灵活的空间约束仍然是挑战。现有的 T2V 方法通常依赖文本提示，这本质上缺乏对生成内容空间布局的精确控制。相比之下，I2V 方法受限于其对真实图像的依赖，这限制了合成内容的可编辑性。尽管一些方法集成了 ControlNet 来引入基于图像的条件控制，但它们通常缺乏明确的运动控制，并且需要计算成本高昂的训练。为了解决这些局限性，我们提出了 AnyI2V，一个无需训练的框架，它能根据用户定义的运动轨迹让任意条件图像动起来。AnyI2V 支持更广泛的模态作为条件图像，包括 ControlNet 不支持的网格和点云等数据类型，从而实现更灵活多样的视频生成。此外，它还支持混合条件输入，并能通过 LoRA 和文本提示进行风格迁移和编辑。大量的实验表明，我们提出的 AnyI2V 取得了优越的性能，并为空间和运动可控的视频生成领域提供了一个新的视角。代码可在 https://henghuiding.com/AnyI2V/ 获取。