DiffSemanticFusion：基于在线高清地图扩散的自动驾驶语义栅格BEV融合

自动驾驶需要精确的场景理解，包括道路几何形状、交通参与者及其语义关系。在在线高清地图生成场景中，基于栅格的表示非常适合视觉模型，但缺乏几何精度；而基于图的表示保留了结构细节，但在没有精确地图的情况下会变得不稳定。为了利用两者的互补优势，我们提出了 DiffSemanticFusion——一种用于多模态轨迹预测和规划的融合框架。我们的方法在语义栅格融合的 BEV 空间中进行推理，并通过地图扩散模块增强了在线高清地图表示的稳定性和表达能力。我们在两个下游任务中验证了我们的框架：轨迹预测和面向规划的端到端自动驾驶。在 nuScenes 和 NAVSIM 等真实世界自动驾驶基准上的实验表明，其性能优于几种最先进的方法。对于 nuScenes 上的预测任务，我们将 DiffSemanticFusion 与在线高清地图感知的 QCNet 集成，实现了 5.1% 的性能提升。对于 NAVSIM 中的端到端自动驾驶，DiffSemanticFusion 取得了最先进的结果，在 NavHard 场景中实现了 15% 的性能提升。此外，大量的消融和敏感性研究表明，我们的地图扩散模块可以无缝集成到其他基于矢量的方法中，以提高性能。所有工件均可在 https://github.com/SunZhigang7/DiffSemanticFusion 获得。