NVIDIA OmniDreams：用于闭环自动驾驶汽车模拟的实时生成式世界模型

随着自动驾驶汽车能力的提升，在长尾场景中对驾驶策略进行安全评估仍然是一个关键的瓶颈。在闭环模拟中，驾驶策略模型与环境积极互动，其动作会动态更新模拟器状态，并直接影响下一组生成的传感器观测数据。虽然最近基于重建的神经模拟器提供了逼真的效果，但它们从根本上受到最初捕获数据的限制，难以推广到高度动态或新颖的场景。为了克服这些限制，我们推出了 OmniDreams，这是一个基础生成式世界模型，它由 Cosmos 扩散模型在中期和后训练中训练而来，可以实时自回归地生成以动作为条件（action-conditioned）的视频。通过利用 Cosmos 丰富的视觉先验，并在 2.1 万小时的驾驶场景中进行中期和后训练， OmniDreams 能够合成传统模拟器难以捕捉的复杂、未观测到的现象，如极端天气和不可预测的动态智能体行为。至关重要的是，它将逼真的传感器生成自回归地以过去的帧、当前的模拟器状态以及即时的驾驶动作为条件。OmniDreams 与 Alpamayo 1 策略模型和 AlpaSim 编排器部署在一个闭环系统中，作为一个高度响应和反应式的环境，为训练和评估下一代自动驾驶策略提供了一个可扩展且全面的解决方案。我们还展示了初步结果，表明从 OmniDreams 后训练得到的世界动作模型（WAM）在具身智能自动驾驶汽车 NuRec 数据集上取得了强劲的表现，在仅使用 1/5 总参数量的情况下，超越了基于 VLA 的 Alpamayo 1.5 研究策略模型。这些结果突显了像 OmniDreams 这样的实时世界模型也作为策略架构骨干网络的潜力。