多视角三维点跟踪

我们首次提出了一种数据驱动的多视角 3D 点跟踪器，旨在通过多个摄像机视图跟踪动态场景中的任意点。与在深度歧义和遮挡方面存在困难的现有单目跟踪器，或需要超过 20 个摄像机和繁琐的序列优化才能实现的多摄像机方法不同，我们的前馈模型直接使用实际数量的摄像机（例如，四个）预测 3D 对应关系，从而实现稳健准确的在线跟踪。在已知摄像机位姿和基于传感器或估计的多视角深度的情况下，我们的跟踪器将多视角特征融合到统一的点云中，并应用 k-近邻相关性以及基于 Transformer 的更新，即使在遮挡下也能可靠地估计长距离 3D 对应关系。我们在 5K 个合成多视角 Kubric 序列上进行训练，并在两个真实世界基准：Panoptic Studio 和 DexYCB 上进行评估，分别实现了 3.1 厘米和 2.0 厘米的中值轨迹误差。我们的方法能够很好地泛化到具有不同视角和 24-150 帧视频长度的 1-8 个摄像机视角的各种设置。通过发布我们的跟踪器以及训练和评估数据集，我们的目标是为多视角 3D 跟踪研究树立新的标杆，并为现实世界应用提供实用的工具。项目主页可在 https://ethz-vlg.github.io/mvtracker 找到。