⏶89
AlayaWorld：长周期可玩视频世界生成
发表
由 
taesiri 提交
taesiri 提交作者: AlayaWorld Team, 
Kaipeng Zhang, Chuanhao Li, Yifan Zhan, Yongtao Ge, Yuanyang Yin, Jiaming Tan, Kang He, Liaoyuan Fan, Ruicong Liu, Xiaojie Xu, Xuangeng Chu, 
Zhen Li, Zhengyuan Lin, Zhixiang Wang, Zian Meng, Zihui Gao
Kaipeng Zhang, Chuanhao Li, Yifan Zhan, Yongtao Ge, Yuanyang Yin, Jiaming Tan, Kang He, Liaoyuan Fan, Ruicong Liu, Xiaojie Xu, Xuangeng Chu, Zhen Li, Zhengyuan Lin, Zhixiang Wang, Zian Meng, Zihui Gao摘要
AI 生成总结
AlayaWorld 是一个开源框架，用于创建交互式生成世界，支持实时用户交互和模块化架构内的多种操作。游戏世界传统上通过劳动密集型生产流程构建，这使得它们开发成本高昂、难以定制，并且部署后修改起来也很昂贵。视频世界模型的最新进展提供了一种根本不同的范式。这些模型不是显式地编写虚拟环境的每个组件，而是根据当前世界状态和用户交互自动回归地合成未来的观测结果，从而实现在线生成可玩世界。它们通过对游戏录像和真实世界视频进行训练，能够捕捉多样化的视觉外观和物理动态，为游戏之外的交互式应用（包括具身智能）开辟了新机遇。在本文中，我们提出了AlayaWorld，一个用于构建交互式生成世界的全栈开源框架。AlayaWorld支持开放式的实时交互，允许用户自由导航并执行战斗、施法和召唤怪物等各种操作。该框架在一个模块化和可扩展的架构中统一了从数据准备、模型架构、模型训练、推理加速到部署的整个开发过程。除了该框架，我们还发布了可复现的管道、参考实现、评估工具和全面的文档，为生成世界模型的未来研究和实时应用奠定了实用基础。