Learning to see in the dark

这篇文章主要聚焦于处理极端弱光下的图像成像问题。一般来说在弱光环境下可以调整曝光时间、ISO高低或者光圈的大小。但由于相关系统ISP的限制成像并不理想。比如下图，最左侧为原始图，中间为调整ISO，最右侧为调整ISO与光圈大小。

我们可以发现，如果通过调整这些设置，会出现较多的噪点，或者是成像模糊、偏色等情况。

因此，本文主要针对这个问题提出了解决方案。首先提出的是数据集，See-in-the-Dark(SID)，这个数据集包含5094张短曝光的RAW格式图片，同时包含对应的参考图像。需要注意的是他们是由两种不同类型的相机获得的，Sony采用的是Bayer阵列，Fujifilm采用的是X-Trans阵列。

然后提出了相关的处理流程，先前有三种处理弱光图像的流程，第一种为传统流程，对raw图像进行传统的isp处理；第二种为L3流程，即使用大量的局部（local）、线性（linear）和学习（learned）得到的滤波器完成初步处理。但是上述两种方法无法解决图像极低的信噪比（SNR）。而在手机上常用的方法为burst，即连续拍摄多张照片，然后进行对齐、融合完成，但是这种方式通常对拍摄设备的稳定性要求较高，且不能用于视频流处理，同时在后续处理过程中可能使用到了幸运成像。

本文中提出的方法是一个简单的端到端网络，以拜耳阵列为例，将其打包成四通道，然后减去黑电平，乘上一个放缩系数，这个系数为待处理图像与输出图像的ISO比值（图像的文件命名上记录的信息）。然后在进入神经网络训练，网络为U-net。通过这个网络实现了对图像的修复，同时抑制噪声、偏色等现象。

如果改变缩放系数，可以发现可以调整图像的亮度

与其他方法的比较

泛化性上，使用iphone 6s拍摄的raw图像进行测试（同样采用拜尔阵列，输出也是16-bit raw data）
结果比内置的isp好

在消融实验上，更换网络结构，将raw改成rgb输入，改变损失函数，或改变raw格式图片的处理（？），或者对groud truth做直方图拉伸。

不足：

• 数据集没有运动的物体
• 最佳缩放因子不能自动获得，面对位置的测试图像需要手动调试
• 缺少对HDR范围的调整，可能会过曝现象