Motion2Motion: 基于稀疏对应关系的跨拓扑动作迁移

发表
Ling-Hao ChenLing-Hao Chen 提交
作者: Ling-Hao ChenLing-Hao Chen, Yuhong Zhang, Zixin Yin, Zhiyang Dou, Xin Chen, Jingbo Wang, Taku Komura, Lei Zhang

摘要

这项工作研究了骨骼拓扑结构差异显著的角色之间动画迁移的挑战。尽管几十年来许多技术都在推进重定向技术,但跨不同拓扑结构的运动迁移仍未得到充分探索。主要障碍在于源骨骼和目标骨骼之间固有的拓扑不一致,这限制了直接的一对一骨骼对应关系的建立。此外,当前缺乏跨不同拓扑结构的大规模配对运动数据集,严重制约了数据驱动方法的发展。为了解决这些限制,我们引入了 Motion2Motion,这是一个新颖的、无需训练的框架。Motion2Motion 简单而有效地工作,它只需目标骨骼上的一两个示例动作,通过访问源骨骼和目标骨骼之间的一组稀疏骨骼对应关系即可。通过全面的定性定量评估,我们证明 Motion2Motion 在相似骨骼和跨物种骨骼迁移场景中都实现了高效可靠的性能。我们的方法在下游应用和用户界面中的成功集成进一步证明了其实用性,凸显了其在工业应用中的潜力。代码和数据可在 https://lhchen.top/Motion2Motion 获取。
查看 arXiv 页面查看 PDF

评论

Ling-Hao ChenLing-Hao Chen
论文作者
论文提交者

这项工作研究了在骨骼拓扑结构差异很大的角色之间转移动画的挑战。尽管许多技术在过去几十年中推进了重定向技术,但在不同拓扑结构之间转移动作的研究仍然较少。主要障碍在于源骨骼和目标骨骼之间固有的拓扑不一致,这限制了建立直接的一对一骨骼对应关系。此外,目前缺乏跨越不同拓扑结构的大规模配对运动数据集,严重限制了数据驱动方法的发展。

为了解决这些限制,我们引入了 Motion2Motion,一个新颖的、无需训练的框架。Motion2Motion 简单而有效地仅使用目标骨骼上的一两个示例动作,通过访问源骨骼和目标骨骼之间的一组稀疏骨骼对应关系来工作。通过全面的定性分析和定量评估,我们证明 Motion2Motion 在相似骨骼和跨物种骨骼转移场景中都实现了高效可靠的性能。

https://cdn-uploads.huggingface.co/production/uploads/63109a4d61cab0446e48c83b/48OKWCbVyzLV_6u0d6zZs.mp4