动物如何跳舞 (在你没看的时候)

我们提出了一个基于关键帧的框架，用于生成音乐同步、编舞感知的动物舞蹈视频。基于代表不同动物姿态的几个关键帧（这些关键帧通过文本到图像提示或 GPT-4o 生成），我们将舞蹈合成公式化为一个图优化问题：确定满足指定的基于节拍的编舞模式的最优关键帧结构，该模式可以从参考舞蹈视频中自动估计。我们还提出了一种用于生成镜像姿态图像的方法，这对于捕捉舞蹈中的对称性至关重要。中间帧通过使用视频扩散模型合成。仅需最少六个输入关键帧，我们的方法即可生成涵盖广泛动物种类和音乐曲目的长达 30 秒的舞蹈视频。