⏶52
Hunyuan-GameCraft:具有混合历史条件的高动态交互式游戏视频生成
发表
由
AK 提交

作者: Jiaqi Li,
Junshu Tang,
Zhiyong Xu, Longhuang Wu, Yuan Zhou,
Shuai Shao, Tianbao Yu, Zhiguo Cao, Qinglin Lu

摘要
扩散和可控视频生成方面的最新进展实现了高质量、时间连贯的视频合成,为沉浸式交互游戏体验奠定了基础。然而,现有方法在动态性、通用性、长期一致性和效率方面面临局限性,这限制了创建各种游戏视频的能力。为了弥补这些空白,我们引入了Hunyuan-GameCraft,一个用于游戏环境中高动态交互式视频生成的新颖框架。为了实现精细的动作控制,我们将标准的键盘和鼠标输入统一到共享的相机表示空间中,从而促进各种相机和移动操作之间的平滑插值。然后,我们提出了一种混合历史条件训练策略,该策略通过自回归方式扩展视频序列,同时保留游戏场景信息。此外,为了提高推理效率和可玩性,我们实现了模型蒸馏以减少计算开销,同时保持长时序序列的一致性,使其适用于复杂交互环境中的实时部署。该模型在包含超过100款AAA游戏中的一百万次游戏录制的大规模数据集上进行训练,确保了广泛的覆盖和多样性,然后在一个精心标注的合成数据集上进行微调,以提高精度和控制力。精选的游戏场景数据显著改善了视觉保真度、真实感和动作可控性。大量实验表明,Hunyuan-GameCraft显著优于现有模型,提升了交互式游戏视频生成的真实感和可玩性。
评论

论文提交者