从虚拟游戏到现实玩乐

我们引入了 RealPlay，一个基于神经网络的真实世界游戏引擎，它能够根据用户控制信号生成交互式视频。与以往专注于游戏风格视觉效果的工作不同，RealPlay 旨在生成逼真的、时间上一致的、类似于真实世界镜头的视频序列。它在一个交互式循环中运行：用户观察生成的场景，发出控制命令，并收到一个短视频片段作为响应。为了实现如此逼真和响应迅速的生成，我们解决了包括低延迟反馈的迭代分块预测、跨迭代的时间一致性以及准确的控制响应等关键挑战。RealPlay 在标记的游戏数据和未标记的真实世界视频的组合上进行训练，无需真实世界的动作标注。值得注意的是，我们观察到两种形式的泛化：（1）控制迁移——RealPlay 有效地将控制信号从虚拟场景映射到真实世界场景；（2）实体迁移——尽管训练标签仅源自赛车游戏，但 RealPlay 泛化到控制除车辆以外的各种真实世界实体，包括自行车和行人。项目页面可在此处找到：https://wenqsun.github.io/RealPlay/