迈向挑战性轨迹下物理一致的驾驶视频世界模型

视频生成模型作为自动驾驶模拟的世界模型已展现出巨大潜力。然而，现有方法主要在真实世界的驾驶数据集上训练，这些数据集大多包含自然且安全的驾驶场景。因此，当受限于挑战性或反事实轨迹（例如模拟器或规划系统生成的有缺陷轨迹）时，现有模型往往会失败，产生具有严重物理不一致和伪影的视频。为了解决这一局限性，我们提出了 PhyGenesis，这是一种旨在生成具有高视觉保真度和强物理一致性的驾驶视频的世界模型。我们的框架由两个关键组件组成：(1) 物理条件生成器，将可能无效的轨迹输入转化为物理上合理的条件；(2) 物理增强视频生成器，在这些条件下生成高保真多视角驾驶视频。为了有效训练这些组件，我们构建了一个大规模、物理信息丰富的异构数据集。具体而言，除了真实驾驶视频外，我们还使用 CARLA 模拟器生成了各种具有挑战性的驾驶场景，从中提取监督信号，引导模型学习极端条件下的物理动力学。这种挑战轨迹学习策略实现了轨迹修正，并促进了物理一致的视频生成。大量实验证明，PhyGenesis 始终优于现有先进方法，尤其是在挑战性轨迹上。我们的项目主页位于：https://wm-research.github.io/PhyGenesis/。