Sketch3DVE: 基于草图的3D感知场景视频编辑

最近的视频编辑方法在风格迁移或外观修改方面取得了令人称赞的结果。然而，编辑视频中 3D 场景的结构内容仍然具有挑战性， 特别是在处理显著的视角变化时，例如大范围的相机旋转或缩放。关键挑战包括生成与原始视频一致的新视角内容、 保留未编辑区域以及将稀疏的 2D 输入转化为逼真的 3D 视频输出。为了解决这些问题，我们提出了 Sketch3DVE， 一种基于草图的 3D 感知视频编辑方法，以实现对具有显著视角变化的视频进行详细的局部操纵。 为了解决稀疏输入带来的挑战，我们采用图像编辑方法为第一帧生成编辑结果，然后将其传播到视频的其余帧。 我们利用草图作为精确几何控制的交互工具，同时也支持其他基于蒙版的图像编辑方法。 为了处理视角变化，我们对视频中的 3D 信息进行了详细分析和操纵。具体来说，我们使用密集立体方法来估计输入视频的点云和相机参数。 然后，我们提出了一种点云编辑方法，该方法使用深度图来表示新编辑组件的 3D 几何，并有效地将其与原始 3D 场景对齐。 为了将新编辑的内容与原始视频无缝合并，同时保留未编辑区域的特征，我们引入了一种 3D 感知蒙版传播策略，并采用视频扩散模型来生成逼真的编辑视频。 大量的实验证明了 Sketch3DVE 在视频编辑方面的优越性。主页和代码：http://http://geometrylearning.com/Sketch3DVE/