基于鲁棒深度网络的多目标多摄像头城市级交通跟踪系统

随着网络摄像头的数量持续增加，视觉传感器在智能交通系统（ITS）中对于交通监控、管理和优化变得越来越重要。然而，在城市规模的交通场景中，跨多个非重叠摄像头的物体手动跟踪和匹配带来了重大挑战。这些挑战包括处理多样化的车辆属性、遮挡、光照变化、阴影以及不同的视频分辨率。为了解决这些问题，我们提出了一种高效且经济的多目标多摄像头跟踪（MO-MCT）深度学习框架。所提出的框架利用 Mask R-CNN 进行物体检测，并采用非极大值抑制（NMS）从重叠检测中选择目标物体。利用迁移学习进行再识别，从而实现跨多个摄像头的车辆轨迹关联和生成。此外，我们利用适当的损失函数和距离度量来处理遮挡、光照和阴影挑战。最终的解决方案识别模块使用 ResNet-152 进行特征提取，并结合基于 Deep SORT 的车辆跟踪。所提出的框架在第5届AI City挑战赛数据集（Track 3）上进行了评估，该数据集包含46个摄像头视频流。在这46个摄像头流中，40个用于模型训练和验证，其余6个用于模型测试。所提出的框架取得了具有竞争力的性能，IDF1 分数为 0.8289，查准率和查全率分别为 0.9026 和 0.8527，证明了其在稳健和准确车辆跟踪方面的有效性。