⏶24
ArtHOI: 通过视频先验 4D 重建合成铰接式人机交互
发表
由 
tianqi liu 提交
tianqi liu 提交作者: Zihao Huang, Tianqi Liu, 
Zhaoxi Chen, Shaocong Xu, 
Saining Zhang, 
Lixing Xiao, Zhiguo Cao, Wei Li, Hao Zhao, 
Ziwei Liu
Tianqi Liu, Zhaoxi Chen, Shaocong Xu, Saining Zhang, Lixing Xiao, Zhiguo Cao, Wei Li, Hao Zhao, Ziwei Liu摘要
AI 生成总结
ArtHOI 通过单目视频先验构建 4D 重建，利用光流进行部件分割，并使用解耦的重建流水线来合成关节式人机交互，从而实现物理上合理且几何上一致的交互。在没有 3D/4D 监督的情况下合成符合物理规律的铰接式人机交互（HOI）仍然是一项根本性挑战。虽然最近的零样本方法利用视频扩散模型来合成人机交互，但它们大多局限于刚性物体操作，且缺乏显式的 4D 几何推理。为了弥补这一差距，我们将铰接式 HOI 合成建模为从单目视频先验中进行的 4D 重建问题：仅给定由扩散模型生成的视频，我们在没有任何 3D 监督的情况下重建完整的 4D 铰接场景。这种基于重建的方法将生成的 2D 视频视为逆渲染问题的监督信号，恢复几何一致且符合物理规律的 4D 场景，这些场景自然地遵循接触、铰接和时间相干性。我们引入了 ArtHOI，这是首个通过视频先验 4D 重建实现铰接式人机交互合成的零样本框架。我们的核心设计包括：1）基于流的部分分割：利用光流作为几何线索，在单目视频中解离动态和静态区域；2）解耦重建流水线：在单目歧义下，人体运动和物体铰接的联合优化是不稳定的，因此我们先恢复物体铰接，然后在重建的物体状态约束下合成人体运动。ArtHOI 衔接了基于视频的生成与几何感知的重建，产生的交互在语义上对齐且在物理上合理。在多种铰接场景（如打开冰箱、橱柜、微波炉）中，ArtHOI 在接触准确性、穿透减少和铰接保真度方面显著优于此前的方法，通过受重建启发的合成将零样本交互合成扩展到了刚性操作之外。
在没有 3D/4D 监督的情况下合成物理上合理的关节式人机交互 (HOI) 仍然是一个根本性挑战。虽然最近的零样本方法利用视频扩散模型来合成人机交互，但它们很大程度上局限于刚体操作，且缺乏显式的 4D 几何推理。为了填补这一空白，我们将关节式 HOI 合成建模为单目视频先验下的 4D 重建问题：仅给定扩散模型生成的视频，我们在没有任何 3D 监督的情况下重建完整的 4D 关节场景。这种基于重建的方法将生成的 2D 视频视为逆向渲染问题的监督，从而恢复出几何一致且物理上合理的 4D 场景，这些场景自然地遵循接触、关节连接和时间一致性。我们推出了 ArtHOI，这是首个通过视频先验的 4D 重建来实现关节式人机交互合成的零样本框架。我们的核心设计包括：1) 基于流的部件分割：利用光流作为几何线索，在单目视频中解耦动态区域与静态区域；2) 解耦重建流水线：在单目歧义下，人体运动与物体关节的联合优化是不稳定的，因此我们先恢复物体关节，然后在重建的物体状态约束下合成人体运动。ArtHOI 桥接了基于视频的生成与几何感知的重建，产生的交互既在语义上对齐，又在物理上有据可依。在多种关节场景（如打开冰箱、柜子、微波炉）中，ArtHOI 在接触准确性、穿透减少和关节忠实度方面显著优于先前的方法，通过重建知情的合成，将零样本交互合成扩展到了刚体操作之外。已被 CVPR2026 接收。项目主页：https://fx-hit.github.io/art-hoi/