RoPECraft: 免训练运动迁移：基于扩散 Transformer 的轨迹引导 RoPE 优化

我们提出 RoPECraft，一种无需训练的视频运动迁移方法，用于扩散 transformer 模型，它仅通过修改其旋转位置编码（RoPE）来工作。我们首先从参考视频中提取密集光流，并利用由此产生的运动偏移量对 RoPE 的复指数张量进行扭曲，有效地将运动编码到生成过程中。这些嵌入随后在去噪阶段进一步优化，通过使用流量匹配目标函数，在预测速度和目标速度之间进行轨迹对齐。为了使输出忠实于文本提示并防止重复生成，我们引入了一个基于参考视频傅里叶变换相位分量的正则化项，将相位角投影到光滑流形上，以抑制高频伪影。在基准测试上的实验表明，RoPECraft 在定性和定量上都优于所有最近发表的方法。