FinePhys: 通过显式融入物理定律实现细粒度人体动作生成，用于有效的骨骼引导

尽管视频生成取得了显著进展，但合成符合物理规律的人类动作仍然是一个持续的挑战，特别是在建模细粒度语义和复杂时间动态方面。例如，生成体操动作，如“带 0.5 转体的换腿跳”，对现有方法提出了巨大困难，常常产生不令人满意的结果。为了弥合这一差距，我们提出了 FinePhys，一个细粒度人类动作生成框架，它融合了物理学以获得有效的骨骼指导。具体而言，FinePhys 首先以在线方式估计 2D 姿势，然后通过上下文学习执行 2D 到 3D 的维度提升。为了减轻纯数据驱动的 3D 姿势的不稳定性和有限解释性，我们进一步引入了一个由欧拉-拉格朗日方程控制的基于物理的运动重新估计模块，通过双向时间更新计算关节加速度。然后将物理预测的 3D 姿势与数据驱动的姿势融合，为扩散过程提供多尺度 2D 热力图指导。在 FineGym 的三个细粒度动作子集（FX-JUMP、FX-TURN 和 FX-SALTO）上进行评估，FinePhys 显著优于有竞争力的基线。全面的定性结果进一步证明了 FinePhys 生成更自然、更合理细粒度人类动作的能力。