CoDA:协调扩散噪声优化,用于铰接物体的全身操纵

发表
Huaijin PiHuaijin Pi 提交
作者: Huaijin PiHuaijin Pi, Zhi CenZhi Cen, Zhiyang DouZhiyang Dou, Taku Komura

摘要

合成关节物体的全身操纵,包括身体运动、手部运动和物体运动,是一项关键但具有挑战性的任务,在虚拟人类和机器人领域有广泛应用。核心挑战是双重的。首先,实现逼真的全身运动需要手部与身体其他部位之间紧密协调,因为在操纵过程中,它们的运动是相互依赖的。其次,关节物体的操纵通常涉及高自由度且需要更高的精度,往往需要手指放置在特定区域以驱动可移动部件。为解决这些挑战,我们提出了一种新颖的协调扩散噪声优化框架。具体来说,我们对身体、左手和右手这三个专门的扩散模型进行了噪声空间优化,每个模型都在其自己的运动数据集上训练,以提高泛化能力。协调性通过沿人体运动链的梯度流自然产生,使全身姿态能够高保真地响应手部运动目标。为了进一步提高手物交互的精度,我们采用了一种基于基点集 (BPS) 的统一表示,其中末端执行器位置被编码为到用于物体几何形状的相同 BPS 的距离。这种统一表示捕获了手部与关节物体部件之间细粒度的空间关系,并且由此产生的轨迹作为引导扩散噪声优化的目标,生成高度准确的交互运动。我们进行了大量实验,证明我们的方法在运动质量和物理合理性方面优于现有方法,并实现了各种能力,例如物体姿态控制、同时行走和操纵,以及仅从手部数据生成全身运动。
查看 arXiv 页面查看 PDF

评论

Huaijin PiHuaijin Pi
论文作者
论文提交者

(1) 本文专注于从文本输入生成对铰接式物体的全身(身体和手指)操作。💃

(2) 核心思想是一个新颖的协调扩散噪声优化框架,我们对身体、左手和右手三个专门的扩散模型进行噪声空间优化。协调性通过沿人体运动学链的梯度流自然产生。💪

(3) 为了提高操作的精确度,我们采用了基于基点集 (BPS) 的统一表示,其中末端执行器位置被编码为到与物体几何形状相同的 BPS 的距离。由此产生的轨迹作为目标来引导扩散噪声的优化,从而产生高度准确的运动。🎉

请访问我们的项目页面:https://phj128.github.io/page/CoDA/index.html

teaser_v2.png