G-CUT3R: 引导式 3D 重建与相机和深度先验集成

我们引入了 G-CUT3R，一种新颖的用于引导式 3D 场景重建的前馈方法，它通过整合先验信息来增强 CUT3R 模型。与现有仅依赖输入图像的前馈方法不同，我们的方法利用了在现实世界场景中常用的辅助数据，例如深度、相机校准或相机位置。我们对 CUT3R 进行了轻量级修改，为每种模态整合了专用编码器以提取特征，然后通过零卷积与 RGB 图像标记融合。这种灵活的设计使得在推理过程中能够无缝整合任何组合的先验信息。通过在包括 3D 重建和其他多视角任务在内的多个基准上进行评估，我们的方法展示了显著的性能提升，表明它能够有效利用可用的先验信息，同时保持与不同输入模态的兼容性。