Replacing Mobile Camera ISP with a Single Deep Learning Model

ISP的设计，调参需要消耗很多的精力，在本工作中作者设计了端到端的模型来替代传统的ISP模型。具体来说作者提出金字塔网络PyNet和RAW-RGB数据集，实现了无任何ISP先验的图像处理。处理效果如下图：

在移动端，由于ISP的硬件限制，许多成像并不理想，比如可能会出现涂抹感、较多的噪点或者图像变平。

为了提高成像质量，本文首先收集了RAW to RGB数据集，使用华为P20作为移动端的RAW图像采集，使用Canon采集RGB图像作为groud truth。同时在RGB图像上进行对齐处理。数据集一共包含2万张。通过下图对比可以发现华为的isp处理后的图像和佳能处理的图像在色彩呈现上有所差距。

网络结构为一个倒金字塔形，一共有五层，层数越高图像分辨率越低。

并且在每一层使用的损失函数也不同，在第五层和第四层，图像的分辨率较小，使用MSE，主要针对全局的颜色亮度和伽马矫正，感知损失不起作用。

在第三层和第二层，使用感知损失和MSE，比率为4:1。细化各个对象的形状、考虑语义信息。

在第一层，使用感知损失、SSIM和MSE损失，对局部细节进行矫正，比如噪声、纹理、模糊等。

然后再不同的网络结构上进行了对比:

可以发现有些图像出现了明显的缺色、偏色。

然后又进行了网络与ISP之间的对比，可以看出网络输出的颜色和佳能的很像，同时也注意到groud truth和输入并没有百分百实现对齐，这可能也会造成对精度的影响。

在泛化表现上使用黑莓的keyone手机进行测试，测试结果比手机的isp好