CameraNet

先对图片进行预处理,比如坏像素点去除,归一化,初步去马赛克等。然后将RGB转换至XYZ空间。在XYZ空间进行恢复操作,因为XYZ空间是与人类感知相关的空间。然后我们对XYZ空间转化到RGB,进行增强操作。
在网络结构方面,都采用U-Net架构。同时在瓶颈层多了一路类似于通道注意力的操作,使用平均池化操作压缩到1*1。
对于恢复和增强两个模块,在具体卷积块的设计也有所不同。在增强块中使用残差连接和ABN(Adaptive Batch Normalization)和空洞卷积。

创建groudtruth,恢复操作相对较为客观(操作空间较小,与raw图像的差异较小),增强操作比较主观。可以使用专业的图像编辑软件生成。

训练过程:

  1. 恢复阶段:采用下图的损失,其中后半部分惩罚图像在人类感知方面的差异,否则,CNN模型可能会在恢复高光区域时获得较大的梯度,而对低光区域的恢复则可能较小。通过在对数域中考虑损失,可以更好地适应人类感知,确保对不同亮度区域的恢复都得到适当的关注和调整。这有助于提高模型在各种光照条件下的性能。
  2. 第二阶段,对增强模块进行训练,需要注意的是此处采用输入是恢复阶段的gt,而不是实际输出。通过这样设定,模型的第一第二两个阶段可以同时训练,节省时间
  3. 联合训练,根据哪个任务占主导,调整λ\lambda的值

实验结果:

如果只使用单阶段,我们可以发现噪声会在增强的过程中被放大

训练阶段:

直接第三阶段训练

除掉第三阶段


CameraNet
https://dreamerland.cn/2024/01/28/深度学习/CameraNet/
作者
Silva31
发布于
2024年1月28日
许可协议