不确定性加权的图像-事件多模态融合用于视频异常检测

大多数现有的视频异常检测器仅依赖于RGB帧，而RGB帧缺乏捕捉突变或瞬时运动线索（异常事件的关键指标）所需的时间分辨率。为了解决这一限制，我们提出了用于视频异常检测的图像-事件融合框架（IEF-VAD），该框架直接从RGB视频中合成事件表示，并通过一种有原则的、考虑不确定性的过程将其与图像特征融合。该系统 (i) 使用Student`s-t似然模型对重尾传感器噪声进行建模，通过拉普拉斯近似推导值级逆方差权重；(ii) 应用类似卡尔曼滤波的逐帧更新以随时间平衡不同模态；和 (iii) 迭代地细化融合后的潜在状态以消除残余的跨模态噪声。在没有任何专门的事件传感器或帧级标签的情况下，IEF-VAD 在多个真实世界异常检测基准上达到了新的最先进水平。这些发现突显了合成事件表示在强调运动线索方面的效用，这些运动线索在RGB帧中往往表现不足，从而在各种应用中实现准确、鲁棒的视频理解，而无需专门的事件传感器。代码和模型可在 https://github.com/EavnJeong/IEF-VAD 获取。