⏶11
CCMNet: 利用校准的色彩校正矩阵实现跨摄像头 色彩恒常性
04月10日发表
04月18日由 
Dongyoung Kim 提交
Dongyoung Kim 提交作者: Dongyoung Kim, Mahmoud Afifi, Dongyun Kim, Michael S. Brown, Seon Joo Kim
Dongyoung Kim, Mahmoud Afifi, Dongyun Kim, Michael S. Brown, Seon Joo Kim摘要
计算色彩恒常性或白平衡是相机图像信号处理器 (ISP) 中的一个关键模块，它可以校正场景光照引起的色偏。由于此操作发生在相机特定的原始色彩空间中，因此白平衡算法必须适应不同的相机。本文介绍了一种基于学习的跨相机色彩恒常性方法，该方法可以推广到新相机，而无需重新训练。我们的方法利用 ISP 上可用的预校准色彩校正矩阵 (CCM)，这些矩阵将相机的原始色彩空间映射到标准空间（例如，CIE XYZ）。我们的方法使用这些 CCM 将预定义的照明颜色（即，沿普朗克轨迹）转换为测试相机的原始空间。映射的照明被编码为紧凑的相机指纹嵌入 (CFE)，使网络能够适应未见过的相机。为了防止由于训练期间有限的相机和 CCM 导致的过拟合，我们引入了一种数据增强技术，该技术在相机及其 CCM 之间进行插值。跨多个数据集和骨干网络的实验结果表明，我们的方法实现了最先进的跨相机色彩恒常性，同时保持轻量级，并且仅依赖于相机 ISP 中 readily 可用的数据。
计算色彩恒常性，或白平衡，是相机图像信号处理器 (ISP) 中的一个关键模块，用于校正场景光照引起的色彩偏差。由于此操作发生在相机特定的原始色彩空间中，因此白平衡算法必须适应不同的相机。本文介绍了一种基于学习的跨相机色彩恒常性方法，该方法可以推广到新相机而无需重新训练。我们的方法利用 ISP 上可用的预校准色彩校正矩阵 (CCM)，这些矩阵将相机的原始色彩空间映射到标准空间（例如，CIE XYZ）。我们的方法使用这些 CCM 将预定义的照明颜色（即，沿着普朗克轨迹）转换到测试相机的原始空间。映射的照明被编码成一个紧凑的相机指纹嵌入 (CFE)，使网络能够适应未见过的相机。为了防止由于训练期间有限的相机和 CCM 导致过拟合，我们引入了一种数据增强技术，该技术在相机及其 CCM 之间进行插值。跨多个数据集和骨干网络的实验结果表明，我们的方法实现了最先进的跨相机色彩恒常性，同时保持轻量级，并且仅依赖于相机 ISP 中 readily available 的数据。
项目页面：https://www.dykim.me/projects/ccmnet