AnimaX：基于联合视频-姿态扩散模型，让无生命物体在3D中动起来

我们提出了 AnimaX，一个前馈 3D 动画框架，它将视频扩散模型的运动先验与基于骨架动画的可控结构相结合。传统的运动合成方法要么受限于固定的骨架拓扑，要么需要在高维形变空间中进行昂贵的优化。相比之下，AnimaX 有效地将基于视频的运动知识转移到 3D 领域，支持具有任意骨架的各种铰接网格。我们的方法将 3D 运动表示为多视角、多帧 2D 姿态图，并支持以模板渲染和文本运动提示为条件的联合视频-姿态扩散。我们引入了共享位置编码和模态感知嵌入，以确保视频和姿态序列之间的时空对齐，从而有效地将视频先验转移到运动生成任务中。由此产生的多视角姿态序列通过三角测量转换为 3D 关节位置，并通过逆运动学转换为网格动画。AnimaX 在新整理的包含 160,000 个绑定序列的数据集上进行训练，在 VBench 上实现了泛化、运动保真度和效率方面的最先进结果，为类别无关的 3D 动画提供了一个可扩展的解决方案。项目页面：https://anima-x.github.io/{https://anima-x.github.io/}