⏶15
角色动画中的生成式 AI：技术、应用与未来方向的全面综述
发表
由 
Mahdi Abootorabi 提交
Mahdi Abootorabi 提交作者: Mohammad Mahdi Abootorabi, 
Omid Ghahroodi, Pardis Sadat Zahraei, Hossein Behzadasl, Alireza Mirrokni, Mobina Salimipanah, Arash Rasouli, Bahar Behzadipour, Sara Azarnoush, Benyamin Maleki, Erfan Sadraiye, Kiarash Kiani Feriz, 
Mahdi Teymouri Nahad, Ali Moghadasi, Abolfazl Eshagh Abianeh, Nizi Nazar, Hamid R. Rabiee, Mahdieh Soleymani Baghshah, Meisam Ahmadi, Ehsaneddin Asgari
Mohammad Mahdi Abootorabi, Omid Ghahroodi, Pardis Sadat Zahraei, Hossein Behzadasl, Alireza Mirrokni, Mobina Salimipanah, Arash Rasouli, Bahar Behzadipour, Sara Azarnoush, Benyamin Maleki, Erfan Sadraiye, Kiarash Kiani Feriz, Mahdi Teymouri Nahad, Ali Moghadasi, Abolfazl Eshagh Abianeh, Nizi Nazar, Hamid R. Rabiee, Mahdieh Soleymani Baghshah, Meisam Ahmadi, Ehsaneddin Asgari摘要
生成式 AI 正在重塑艺术、游戏，尤其是动画。基础模型和扩散模型的最新突破降低了制作动画内容所需的时间和成本。角色是动画的核心组成部分，涉及动作、情感、手势和面部表情。近几个月来，相关进展的速度和广度使得难以对该领域保持清晰的认识，因此需要一篇综合性综述。与以往孤立处理虚拟形象、手势或面部动画的综述不同，本综述对角色动画中所有的主要生成式 AI 应用提供了一个单一、全面的视角。我们首先考察面部动画、表情渲染、图像合成、虚拟形象创建、手势建模、动作合成、物体生成和纹理合成等领域的最新技术水平。我们重点介绍每个领域的前沿研究、实际应用、常用数据集和新兴趋势。为了支持新手，我们还提供了一个全面的背景介绍部分，介绍基础模型和评估指标，使读者具备进入该领域所需的知识。我们讨论开放性挑战并规划未来的研究方向，为推动AI驱动的角色动画技术发展提供路线图。本综述旨在为进入生成式 AI 动画或相关领域的研究人员和开发人员提供参考资源。资源可在以下链接获取：https://github.com/llm-lab-org/Generative-AI-for-Character-Animation-Survey。
我们很高兴分享我们关于生成式AI用于角色动画的全新综合调查报告！随着生成式AI迅速改变动画、艺术和游戏领域，跟踪其在各种角色组件（如动作、情感和面部表情）方面的快速进展变得越来越具挑战性。本调查报告对这一充满活力的领域提供了统一的视角。
我们的调查报告提供了：
深入的组件分析：我们系统地检查了生成式AI在核心角色动画方面（包括面部动画、表情渲染、图像合成、虚拟形象创建、手势建模、动作合成、物体生成和纹理合成）的最新技术水平。我们涵盖了每个领域的主要研究、实际应用、数据集和趋势。
新手入门基础知识：专门的背景介绍部分旨在帮助新的研究人员和开发者入门，其中介绍了基本概念、基础模型（如扩散模型、GAN、VAE、Transformer）和评估指标。
系统性分类法：我们引入了一个明确定义的分类法，根据主要贡献对当前模型进行分类，突出了AI驱动动画的关键方法和新兴趋势。
未来研究路线图：我们确定了开放挑战、研究空白，并规划了未来方向，以指导AI驱动角色动画技术的发展。
开放资源：为了促进研究和提高可访问性，我们整理并分享了关键资源，包括数据集、基准测试、模型和评估工具。请查阅本调查报告的GitHub仓库，我们将持续更新。
深入阅读我们的工作，了解生成式AI在角色动画领域的当前格局和未来潜力。我们鼓励您阅读、分享和讨论，共同探索AI驱动的创意未来！