Dens3R：一个用于3D几何预测的基础模型

尽管密集三维重建领域的最新进展取得了显著成就，但实现精确的统一几何预测仍然是一项重大挑战。现有方法大多局限于从输入图像中预测单一的几何量。然而，深度、表面法线和点图等几何量本质上是相互关联的，孤立地估计它们往往无法保证一致性，从而限制了准确性和实际应用性。这促使我们探索一个能够明确建模不同几何属性间结构耦合的统一框架，以实现联合回归。在本文中，我们提出了Dens3R，一个为联合几何密集预测而设计的三维基础模型，并能适应广泛的下游任务。Dens3R采用两阶段训练框架，逐步构建一个既具泛化性又具内蕴不变性的点图表示。具体来说，我们设计了一个轻量级的共享编码器-解码器主干网络，并引入了位置插值的旋转位置编码，以在保持强大表达能力的同时，增强对高分辨率输入的鲁棒性。通过将图像对匹配特征与内蕴不变性建模相结合，Dens3R能精确地回归表面法线和深度等多个几何量，实现了从单视图到多视图输入的一致性几何感知。此外，我们还提出了一个支持几何一致性多视图推理的后处理流程。大量实验证明，Dens3R在各种密集三维预测任务中表现优越，并展示了其在更广泛应用中的潜力。