重新思考 RGB-事件语义分割：基于一种新颖的双向运动增强的事件表示

事件相机捕捉运动动态，提供一种独特的模态，在各种计算机视觉任务中具有巨大潜力。然而，RGB-事件融合面临三个内在的失准问题：(i) 时间，(ii) 空间，以及 (iii) 模态失准。现有的体素网格表示忽略了连续事件窗口之间的时间相关性，并且它们通过简单累积异步稀疏事件的构建方式，与RGB模态的同步密集特性不兼容。为了解决这些挑战，我们提出了一种新颖的事件表示方法，运动增强事件张量（MET），它通过利用密集光流和事件时间特征，将稀疏事件体素转换为密集且时间上连贯的形式。此外，我们引入了一个频率感知双向流聚合模块（BFAM）和一个时间融合模块（TFM）。BFAM利用频域和 MET 来减轻模态失准，同时双向流聚合和时间融合机制解决了时空失准。在两个大规模数据集上的实验结果表明，我们的框架显著优于最先进的 RGB-事件语义分割方法。我们的代码已开源于：https://github.com/zyaocoder/BRENet。