⏶12
标记化图像块:用于大型图像中有效去雾的全局上下文融合
发表
由
Xinyu Yan 提交

作者:
Jiuchen Chen,
Xinyu Yan, Qizhi Xu, Kaiqi Li

摘要
全局上下文信息和局部细节特征对于去雾任务至关重要。深度学习模型在小型、低分辨率图像上表现良好,但由于GPU内存限制,它们在大型、高分辨率图像上遇到困难。作为一种折衷方案,它们通常会采用图像切片或下采样。前者会减少全局信息,而后者会丢弃高频细节。为了应对这些挑战,我们提出了DehazeXL,这是一种去雾方法,能够有效地平衡全局上下文和局部特征提取,使其能够在主流GPU硬件上对大型图像进行端到端建模。此外,为了评估全局上下文利用在去雾性能中的效率,我们设计了一种视觉归因方法,该方法专门针对去雾任务的特点设计。最后,考虑到大型图像去雾基准数据集的缺乏,我们开发了一个超高分辨率去雾数据集(8KDehaze),以支持模型训练和测试。它包括10000对清晰和模糊的遥感图像,每张图像尺寸为 8192 x 8192 像素。大量实验表明,DehazeXL 仅需 21 GB 内存即可推断高达 10240 x 10240 像素的图像,并在所有评估的方法中实现了最先进的结果。源代码和实验数据集可在 https://github.com/CastleChen339/DehazeXL 获取。
在本文中,我们提出了 DehazeXL,一种端到端的去雾方法,它有效地结合了全局信息交互和局部特征提取,从而能够高效处理大型图像,同时最大限度地减少 GPU 内存使用。为了评估全局上下文利用在去雾性能中的效率,我们设计了一种用于去雾任务的可视化归因方法。此外,我们开发了一个超高分辨率去雾数据集 8KDehaze。定量和定性结果表明,所提出的 DehazeXL 在多个高分辨率数据集上,在准确性和推理速度方面均优于最先进的去雾技术。归因分析的结果突出了全局信息在图像去雾任务中的重要性。