基于任意先验的万物深度

本工作提出了 Prior Depth Anything，这是一个结合了深度测量中不完整但精确的度量信息与深度预测中相对但完整的几何结构的框架，为任何场景生成精确、密集和详细的度量深度图。为此，我们设计了一个由粗到精的流程，逐步整合这两种互补的深度来源。首先，我们引入了像素级度量对齐和距离感知加权，通过显式地使用深度预测来预填充多样化的度量先验。这有效地缩小了先验模式之间的领域差距，增强了在不同场景下的泛化能力。其次，我们开发了一个条件单目深度估计 (MDE) 模型，以细化深度先验的固有噪声。通过以归一化的预填充先验和预测作为条件，该模型进一步隐式地融合了这两种互补的深度来源。我们的模型在超过 7 个真实世界数据集上展现了令人印象深刻的零样本泛化能力，跨越深度补全、超分辨率和图像修复，匹敌甚至超越了之前的任务特定方法。更重要的是，它在具有挑战性的、未见的混合先验上表现良好，并通过切换预测模型实现测试时改进，提供了灵活的精度-效率权衡，同时随着 MDE 模型的发展而进步。