MotionPro：用于图像到视频生成的精确运动控制器

将图像动画化并进行交互式运动控制已在图像到视频（I2V）生成领域广受欢迎。现代方法通常依赖于大型高斯核来扩展运动轨迹作为条件，而没有明确定义运动区域，这导致运动控制粗糙且无法区分物体和摄像机移动。为了缓解这些问题，我们提出了 MotionPro，一种精确的运动控制器，它创新性地利用区域感知轨迹和运动掩码来分别调节细粒度运动合成和识别目标运动类别（即物体或摄像机移动）。技术上，MotionPro 首先通过跟踪模型估计每个训练视频上的光流图，然后采样区域感知轨迹以模拟推理场景。与通过大型高斯核扩展光流不同，我们的区域感知轨迹方法通过直接利用局部区域内的轨迹来实现更精确的控制，从而有效表征细粒度运动。同时从预测的光流图中导出运动掩码，以捕获运动区域的整体运动动态。为了追求自然的运动控制，MotionPro 通过特征调制融合区域感知轨迹和运动掩码，进一步增强视频去噪。更值得注意的是，我们精心构建了一个基准，即 MC-Bench，包含 1.1K 个用户标注的图像-轨迹对，用于评估细粒度运动控制和物体级别 I2V 运动控制。在 WebVid-10M 和 MC-Bench 上进行的广泛实验证明了 MotionPro 的有效性。更多结果请参考我们的项目页面：https://zhw-zhang.github.io/MotionPro-page/。