4DSloMo：针对异步捕获高速场景的4D重建

从多视角视频中重建快速动态场景对于高速运动分析和逼真的4D重建至关重要。然而，大多数4D捕捉系统受限于低于30 FPS（每秒帧数）的帧率，而直接从低FPS输入进行高速运动的4D重建可能会导致不理想的结果。在这项工作中，我们提出了一种仅使用低FPS摄像机的高速4D捕捉系统，通过新颖的捕捉和处理模块实现。在捕捉方面，我们提出了一种异步捕捉方案，通过错开摄像机的启动时间来提高有效帧率。通过对摄像机进行分组并利用25 FPS的基础帧率，我们的方法在不需要专用高速摄像机的情况下，实现了100-200 FPS的等效帧率。在处理方面，我们还提出了一种新颖的生成模型来修复4D稀疏视图重建引起的伪影，因为异步性会减少每个时间戳的视角数量。具体而言，我们提出训练一个基于视频扩散的伪影修复模型用于稀疏4D重建，该模型可以修复缺失的细节、保持时间一致性并提高整体重建质量。实验结果表明，与同步捕捉相比，我们的方法显著增强了高速4D重建。