⏶48
Matrix-Game 3.0：具有长时记忆的实时流式交互式世界模型
发表
由 
taesiri 提交
taesiri 提交作者: Zile Wang, Zexiang Liu, Jaixing Li, Kaichen Huang, Baixin Xu, 
Fei Kang, 
Mengyin An, Peiyu Wang, Biao Jiang, Yichen Wei, Yidan Xietian, Jiangbo Pei, Liang Hu, 
Boyi Jiang, Hua Xue, Zidong Wang, Haofeng Sun, Wei Li, Wanli Ouyang, Xianglong He, Yang Liu, Yangguang Li, Yahui Zhou
Fei Kang, Mengyin An, Peiyu Wang, Biao Jiang, Yichen Wei, Yidan Xietian, Jiangbo Pei, Liang Hu, Boyi Jiang, Hua Xue, Zidong Wang, Haofeng Sun, Wei Li, Wanli Ouyang, Xianglong He, Yang Liu, Yangguang Li, Yahui Zhou摘要
AI 生成总结
Matrix-Game 3.0 通过内存增强扩散模型增强了交互式视频生成，实现了具有长期时间一致性的实时 720p 视频合成。随着交互式视频生成的进步，扩散模型日益展现出作为世界模型的潜力。然而，现有方法仍难以同时实现具备记忆的长效时间一致性和高分辨率实时生成，限制了它们在现实场景中的应用。为此，我们推出了 Matrix-Game 3.0，这是一个记忆增强型交互式世界模型，旨在实现 720p 实时长视频生成。在 Matrix-Game 2.0 的基础上，我们在数据、模型和推理方面进行了系统性改进。首先，我们开发了一套升级的工业级无限数据引擎，整合了基于 Unreal Engine 的合成数据、从 AAA 级游戏中大规模自动化采集的数据以及真实世界视频增强，以大规模产出高质量的“视频-姿态-动作-提示词”四元组数据。其次，我们提出了一个长时一致性训练框架：通过对预测残差进行建模并在训练期间重新注入不完美的生成帧，基础模型学会了自我修正；同时，相机感知的记忆检索与注入使基础模型能够实现长时空一致性。第三，我们设计了一种基于分布匹配蒸馏（DMD）的多段自回归蒸馏策略，结合模型量化和 VAE 解码器剪枝，以实现高效的实时推理。实验结果显示，Matrix-Game 3.0 使用 5B 参数模型即可在 720p 分辨率下实现高达 40 FPS 的实时生成，并在分钟级的序列中保持稳定的记忆一致性。扩展到 2x14B 模型可进一步提升生成质量、动态效果和泛化能力。我们的方法为工业级可部署世界模型提供了一条切实可行的路径。