AWNet
主要包含三个模块,残差密集块、上采样小波、下采样小波。
残差密集块又包含两个残差密集块(RDB)和一个全局上下文块(GCB)。学习残差信息有利于颜色映射性能。RDB中使用了总共七个卷积层,其中前六层旨在增加特征图的数量,最后一层将这些层生成的所有特征图连接起来。在RDB的末尾,提出了一个全局上下文块,以鼓励网络学习全局颜色映射,因为局部颜色映射可能会由于RAW和RGB图像对之间的像素错位而导致结果的降级。这一点是显而易见的,因为错位的存在会使神经网络错误地将颜色映射到不正确的像素位置。
GCB应该是先进行通道压缩获得空间注意力图然后再通道维度上压缩拉伸。
上采样和下采样,我们借鉴了离散小波变换(DWT)的思想,因为DWT的性质将输入特征图分解为高频和低频分量,其中低频分量可以作为来自平均池化的结果。使用低频分量作为我们下采样特征图的一部分,并将高频部分连接到上采样块进行图像恢复(即反DWT)。然而,由频域操作产生的特征图可能缺乏空间相关性。因此,我们采用了一个额外的空间卷积层,用于用学习的卷积核对特征图进行下采样。类似地,像素洗牌操作以及一个空间卷积层被用于上采样,作为IDWT的补充。频域和空间域操作的结合有助于学习上采样和下采样块中丰富的特征。
(具体的实现有点繁琐)
LL=1,1,1,1, HL=-1,-1,1,1, LH=-1,1,-1,1, HH=1,-1,-1,1
双分支设计,一路称为去马赛克模型,一路成为RAW模型。RAW模型input为raw域的分辨率减半图像,去马赛克模型输入为原式大小的,但通道数为3(?)。RAW模型更加关注高频信息,去马赛克模型关注颜色映射。
损失函数采用对不同层的特征图进行计算,浅层使用Charbonnier loss,然后深层使用SSIM loss、感知损失.
3代表的是去马赛克模型,4代表的是raw模型。然后最后一列是取平均
不足:两个分支是单独训练的,没有联合微调;对每一层的特征作为损失计算的一部分,target采用原始图像的对应下采样,是否难以拟合?