⏶51
迈向零:基于百万级数据的零样本运动生成
发表
由
Runyi YU 提交
作者: Ke Fan, Shunlin Lu,
Minyue Dai, Runyi Yu, Lixing Xiao,
Zhiyang Dou, Junting Dong, Lizhuang Ma, Jingbo Wang

摘要
基于文本描述生成多样化且自然的人类运动序列,是计算机视觉、图形学和机器人技术领域中一个基础且富有挑战性的研究方向。尽管该领域取得了显著进展,但当前方法在零样本泛化能力方面常面临挑战,这主要归因于训练数据集的规模有限。此外,缺乏全面的评估框架阻碍了这项任务的进步,因为它未能指明改进方向。在这项工作中,我们旨在将文本到运动生成推向一个新时代,即实现零样本的泛化能力。为此,我们首先开发了一个高效的标注流程,并推出了迄今为止最大的人类运动数据集MotionMillion,它包含超过2,000小时和200万个高质量运动序列。此外,我们提出了MotionMillion-Eval,这是用于评估零样本运动生成的最全面基准。借助可扩展的架构,我们将模型扩展到70亿参数,并在MotionMillion-Eval上验证了其性能。我们的结果表明,模型对域外和复杂组合运动具有强大的泛化能力,标志着向零样本人类运动生成迈出了重要一步。代码可在 https://github.com/VankouF/MotionMillion-Codes 获取。
评论
arXiv Explained 对这篇论文进行了详细解读 👉 https://arxivexplained.com/papers/go-to-zero-towards-zero-shot-motion-generation-with-million-scale-data
arXiv Explained 对这篇论文进行了详细解读 👉 https://arxivexplained.com/papers/go-to-zero-towards-zero-shot-motion-generation-with-million-scale-data
很棒的工作,演示很精彩!