有区别地处理运动分量，促进联合深度和自我运动学习的发展

深度和自我运动，这两个基本的3D感知任务的无监督学习，近年来取得了显著进展。然而，大多数方法将自我运动视为一个辅助任务，要么混合所有运动类型，要么在监督中排除独立于深度的旋转运动。这种设计限制了强几何约束的引入，从而降低了在不同条件下的可靠性和鲁棒性。本研究引入了运动分量的判别处理，利用其各自刚性流的几何规律来造福深度和自我运动估计。给定连续视频帧，网络输出首先对齐源相机和目标相机的光轴和成像平面。帧之间的光流通过这些对齐进行转换，并量化偏差，以便对每个自我运动分量单独施加几何约束，从而实现更有针对性的细化。这些对齐进一步将联合学习过程重新表述为同轴和共面形式，其中深度和每个平移分量可以通过闭合形式的几何关系相互导出，引入互补约束以提高深度鲁棒性。DiMoDE是一个通用深度和自我运动联合学习框架，它融合了这些设计，在多个公共数据集和新收集的多样化真实世界数据集上实现了最先进的性能，尤其是在具有挑战性的条件下。我们的源代码将在发布时在 mias.group/DiMoDE 上公开。