Vivid4D：通过视频修复改进单目视频的4D重建

从随意拍摄的单目视频中重建 4D 动态场景非常有价值，但也极具挑战性，因为每个时间戳都是从单一视角观察到的。我们介绍了 Vivid4D，这是一种新颖的方法，通过增强观测视角来改进 4D 单目视频合成——从单目输入合成多视角视频。与现有方法不同，现有方法要么仅利用几何先验进行监督，要么在使用生成先验的同时忽略几何，我们整合了两者。这会将视角增强重新定义为视频修复任务，其中观察到的视角根据单目深度先验被扭曲成新的视角。为了实现这一点，我们使用合成生成的掩模在无姿势的 Web 视频上训练视频修复模型，这些掩模模仿扭曲遮挡，确保空间和时间上一致地完成缺失区域。为了进一步减轻单目深度先验的不准确性，我们引入了迭代视角增强策略和鲁棒的重建损失。实验表明，我们的方法有效地改进了单目 4D 场景重建和补全。