⏶37
CharacterShot：可控且一致的 4D 角色动画
发表
由 
Gaojunyao 提交
Gaojunyao 提交作者: Junyao Gao, 
Jiaxing Li, Wenran Liu, Yanhong Zeng, Fei Shen, Kai Chen, Yanan Sun, Cairong Zhao
Junyao Gao, Jiaxing Li, Wenran Liu, Yanhong Zeng, Fei Shen, Kai Chen, Yanan Sun, Cairong Zhao摘要
在本文中，我们提出了 CharacterShot，一个可控且一致的 4D 角色动画框架，使任何独立设计师能够从单个参考角色图像和 2D 姿态序列创建动态 3D 角色（即 4D 角色动画）。我们首先基于尖端的基于 DiT 的图像到视频模型预训练一个强大的 2D 角色动画模型，该模型允许任何 2D 姿态序列作为可控信号。然后，我们通过引入双注意力模块和相机先验将动画模型从 2D 提升到 3D，以生成具有时空和空间视图一致性的多视图视频。最后，我们对这些多视图视频采用一种新颖的邻域约束 4D 高斯溅射优化，从而产生连续稳定的 4D 角色表示。此外，为了提高以角色为中心的性能，我们构建了一个大规模数据集 Character4D，包含 13,115 个具有不同外观和动作的独特角色，从多个视点渲染。在我们新构建的基准 CharacterBench 上的大量实验表明，我们的方法优于当前最先进的方法。代码、模型和数据集将在 https://github.com/Jeoyal/CharacterShot 公开。
在本文中，我们提出了 CharacterShot，一个可控且一致的 4D 角色动画框架，它使任何设计师都能通过一张参考角色图像和一段 2D 姿态序列创建动态 3D 角色（即 4D 角色动画）。我们首先预训练了一个强大的 2D 角色动画模型，该模型基于最先进的基于 DiT 的图像到视频模型，允许任何 2D 姿态序列作为可控信号。然后，我们通过引入双重注意力模块和相机先验，将动画模型从 2D 提升到 3D，以生成具有时空和空间视图一致性的多视图视频。最后，我们对这些多视图视频采用了一种新颖的邻居约束 4D 高斯泼溅优化，从而生成连续稳定的 4D 角色表示。此外，为了提高以角色为中心的性能，我们构建了一个大规模数据集 Character4D，其中包含 13,115 个具有不同外观和动作的独特角色，从多个视角渲染。在我们新构建的 CharacterBench 基准测试中进行的大量实验表明，我们的方法优于当前最先进的方法。代码、模型和数据集将在 这个 https URL 公开提供。