使用未配对数据的学习型轻量级智能手机ISP

图像信号处理器 (ISP) 是现代智能手机摄像头中的核心组成部分，负责将 RAW 传感器图像数据转换为 RGB 图像，并高度关注感知质量。近期研究强调了深度学习方法的潜力及其捕捉细节的能力，其质量日益接近专业相机。在开发学习型 ISP 时，一个困难且成本高昂的环节是获取像素级对齐的配对数据，即将智能手机相机传感器捕获的原始数据映射到高质量参考图像。在这项工作中，我们通过提出一种用于学习型 ISP 的新颖训练方法来解决这一挑战，该方法消除了原始图像和内容匹配的真实数据之间需要直接对应关系的需求。我们的无配对方法采用了一个在对抗性训练引导下的多项损失函数，使用多个判别器处理来自预训练网络的特征图，以在学习目标 RGB 数据集的颜色和纹理特征的同时保持内容结构。使用适用于移动设备的轻量级神经网络架构作为骨干网络，我们在 Zurich RAW to RGB 和 Fujifilm UltraISP 数据集上评估了我们的方法。与配对训练方法相比，我们的无配对学习策略显示出强大的潜力，并在多个评估指标上达到了高保真度。代码和预训练模型可在 https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data 获取。