LiftFeat: 三维几何感知局部特征匹配

鲁棒高效的局部特征匹配在机器人 SLAM 和视觉定位等应用中起着至关重要的作用。尽管取得了巨大进展，但在光照剧烈变化、纹理缺失区域或重复图案等场景中提取鲁棒且具有判别力的视觉特征仍然非常具有挑战性。在本文中，我们提出了一种名为 LiftFeat 的新型轻量级网络，它通过聚合 3D 几何特征来提升原始描述符的鲁棒性。具体来说，我们首先采用一个预训练的单目深度估计算法生成伪表面法线标签，用于监督基于预测表面法线的 3D 几何特征提取。随后，我们设计了一个 3D 几何感知的特征提升模块，用于融合表面法线特征与原始 2D 描述符特征。融合此类 3D 几何特征增强了 2D 特征描述在极端条件下的判别能力。在相对位姿估计、单应性估计和视觉定位任务上的大量实验结果表明，我们的 LiftFeat 优于一些轻量级的最先进方法。代码将发布于：https://github.com/lyp-deeplearning/LiftFeat。