延迟：通过设备端纠正消除远程推理延迟

远程推理使轻量级设备能够利用强大的云模型。然而，通信网络的延迟会导致预测过时，不适合实时任务。为了解决这个问题，我们引入了 Dedelayed，一种延迟校正方法，可以缓解任意远程推理延迟，使本地设备能够实时产生低延迟输出。我们的方法采用轻量级本地模型来处理当前帧，并融合来自过去帧的重量级远程模型计算的特征。在 BDD100K 驾驶数据集的视频上，Dedelayed 在所有超过 33 毫秒的实际通信网络延迟下，都提高了本地模型和远程模型基线的语义分割精度。在不增加额外延迟的情况下，与完全本地推理相比，它将精度提高了 6.4 mIoU，与远程推理相比，它将精度提高了 9.8 mIoU，往返延迟为 100 毫秒。在更长的延迟和更高运动场景下，这种优势会增加，因为延迟缓解的分离推理能更有效地维持精度，为必须与当前世界状态保持一致的实时任务提供了明显的优势。