AerialMegaDepth：学习空中-地面重建和视图合成

我们探索了从地面和空中混合视角捕获的图像的几何重建任务。当前最先进的基于学习的方法无法处理空中-地面图像对之间极端的视点变化。我们的假设是，缺乏高质量、共同配准的空中-地面数据集用于训练是导致此失败的关键原因。这种数据难以精确组装，因为它难以可扩展地重建。为了克服这一挑战，我们提出了一个可扩展的框架，将来自 3D 城市范围网格（例如，Google Earth）的伪合成渲染与真实的、地面众包图像（例如，MegaDepth）相结合。伪合成数据模拟了广泛的空中视角，而真实的众包图像有助于提高地面图像的视觉保真度，因为基于网格的渲染缺乏足够的细节，从而有效地弥合了真实图像和伪合成渲染之间的领域差距。使用这种混合数据集，我们微调了几种最先进的算法，并在真实世界的零样本空中-地面任务上取得了显著的改进。例如，我们观察到基线 DUSt3R 在相机旋转误差 5 度以内定位的空中-地面对少于 5%，而使用我们的数据进行微调后，准确率提高到接近 56%，解决了处理大视点变化的主要失败点。除了相机估计和场景重建之外，我们的数据集还提高了下游任务的性能，例如在具有挑战性的空中-地面场景中的新视角合成，证明了我们的方法在实际应用中的实用价值。