SeedVR2：通过扩散对抗后训练实现一步视频恢复

扩散基视频恢复 (VR) 的最新进展在视觉质量方面取得了显著改进，但推理过程中产生的计算成本过高。尽管一些基于蒸馏的方法展示了单步图像恢复的潜力，但将现有方法扩展到 VR 仍然具有挑战性且未充分探索，特别是在处理真实世界环境中的高分辨率视频时。在这项工作中，我们提出了一种单步扩散基 VR 模型，命名为 SeedVR2，它针对真实数据执行对抗性 VR 训练。为了在单步内处理具有挑战性的高分辨率 VR，我们对模型架构和训练过程引入了几项增强。具体而言，提出了一种自适应窗口注意力机制，其中窗口大小根据输出分辨率动态调整，避免了在高分辨率 VR 中使用预定义窗口大小的窗口注意力所观察到的窗口不一致性。为了稳定和改进针对 VR 的对抗性后训练，我们进一步验证了一系列损失的有效性，包括一种提出的特征匹配损失，而不会显著牺牲训练效率。广泛的实验表明，SeedVR2 可以在单步内实现与现有 VR 方法相当甚至更好的性能。