MEMFOF:内存高效多帧光流估计的高分辨率训练

发表
Alexander YakovenkoAlexander Yakovenko 提交
作者: Vladislav Bargatin, Egor ChistovEgor Chistov, Alexander YakovenkoAlexander Yakovenko, Dmitriy Vatolin

摘要

光流估计的最新进展优先考虑准确性,但代价是GPU内存消耗不断增长,尤其是对于高分辨率(FullHD)输入。我们引入了MEMFOF,这是一种内存高效的多帧光流方法,它在多帧估计和GPU内存使用之间找到了一个有利的权衡。值得注意的是,MEMFOF在运行时处理1080p输入时仅需2.09 GB的GPU内存,训练时需要28.5 GB,这使得我们的方法能够独特地在原生1080p分辨率下进行训练,无需裁剪或降采样。我们系统地重新审视了RAFT类架构的设计选择,将缩减的相关体积和高分辨率训练协议与多帧估计相结合,以在多个基准测试中实现最先进的性能,同时大幅降低内存开销。我们的方法在准确性和运行时效率方面均优于更资源密集型的替代方案,验证了其在高分辨率下进行光流估计的鲁棒性。在提交时,我们的方法在Spring基准测试中以3.289的1像素(1px)异常率排名第一,在Sintel(clean)上以0.963的端点误差(EPE)领先,并在KITTI-2015上实现了2.94%的最佳Fl-all误差。代码可在 https://github.com/msu-video-group/memfof 获取。
查看 arXiv 页面查看 PDF

评论

Alexander YakovenkoAlexander Yakovenko
论文作者
论文提交者
此评论已隐藏。
Alexander YakovenkoAlexander Yakovenko
论文作者
论文提交者

非常高兴终于能分享这个项目!