REGEN：通过双阶段生成网络框架在游戏中实现实时照片级逼真度增强

照片级真实感是现代视频游戏的重要方面，因为它可以塑造 玩家的体验，同时影响沉浸感、叙事 参与度和视觉保真度。尽管近期的硬件技术 突破以及最先进的渲染技术 显著提高了视频游戏的视觉真实感，但实现真正的 动态环境中的照片级真实感，并且保持实时帧率，仍然是一个 重大挑战，这归因于视觉质量和性能之间的权衡。在本篇短文中，我们提出了一种新颖的方法，用于增强 渲染的游戏帧的照片级真实感，利用生成对抗网络。为此，我们 提出了一种通过双阶段生成网络框架（REGEN）在游戏中实现实时照片级真实感增强的方法，该方法采用 一种鲁棒的非配对图像到图像翻译模型来生成语义一致的照片级真实感帧，将问题转化为 更简单的配对图像到图像翻译任务。 这使得能够使用一种轻量级方法进行训练，该方法可以在不牺牲视觉质量的情况下实现实时 推理时间。我们在《侠盗猎车手V》中展示了我们框架的有效性，表明该方法在视觉效果上 可与鲁棒的非配对Im2Im方法相媲美，同时将推理速度提高了 32.14 倍。我们的研究结果还表明，该方法优于 直接训练一个轻量级非配对Im2Im翻译方法以将视频游戏帧转换为 真实世界图像视觉特征所产生的照片级真实感增强帧。相关代码、预训练模型和演示可在以下网址获取：https://github.com/stefanos50/REGEN。