LineDL
摘要
尽管基于深度学习（DL）的图像处理算法已经取得了出色的性能，但由于以下原因，它们仍然很难应用于移动设备（例如智能手机和相机）：1）高内存需求和2）大模型大小。为了使基于DL的方法适应移动设备，受图像信号处理器（ISP）的特性启发，我们提出了一种名为LineDL的新算法。在LineDL中，将整个图像处理的默认模式重新构造为逐行模式，消除了需要存储整个图像的大量中间数据的需求。设计了一个信息传输模块（ITM）来提取和传递行间相关性，并集成行间特征。此外，我们开发了一种模型压缩方法，以减小模型大小同时保持竞争性能；即重新定义知识，并在两个方向上进行压缩。我们在包括去噪和超分辨率在内的通用图像处理任务上评估了LineDL。广泛的实验结果表明，LineDL 在图像质量上达到了与最先进的基于DL的算法相媲美的水平，但内存需求更小，模型大小更具竞争力。
方法
为了使基于DL的方法适应移动设备，我们提出了LineDL，使得将DL插入到ISP中成为可能。受传统ISP算法的启发，我们重新构造了整个图像模式，将其转换为逐行模式，以消除大的感受野和内存需求，其中不同的行被分别和顺序地处理。逐行模式消除了存储整个图像的大量中间数据的需求。由于在基于DL的算法中，感受野至关重要，这意味着全局信息是必要的，因此应该传输行间相关性。因此，逐行处理的过程被建模为一个空间和时间问题，而不是整个图像模式中的纯粹空间问题。相应的网络架构被设计来解决空间和时间问题，其中开发了一个信息传输模块（ITM）来提取行间相关性并整合行间特征。此外，为了实现更通用的图像处理压缩方法，我们提出了双向压缩方法来减小模型大小，其中知识被重新定义，并且在通道和层方向上进行压缩。
在空间和时间协同任务中，空间部分负责处理当前的l行，而时间部分负责通过传递利用盲信息。前者是一个传统的图像处理问题，可以通过包含卷积操作的编码器-解码器架构很好地解决。对于后者，粗略的实现是将（n-1）行的特征添加到当前第n行。然而，性能较差，因为（n-1）行中的无用信息会影响当前的第n行，这意味着只有与当前第n行强相关的信息应该被传递。因此，传递行间关联需要考虑两个方面：1）过滤掉无用信息，2）将有用信息整合到当前处理的行中。基于以上分析，我们将时间部分建模为包含相关性提取和整合的任务，并提出信息传输模块（ITM）来解决这些问题。如图3所示，ITM包括行间相关性提取模块（ILCEM）和整合特征模块（IFM），分别负责相关性提取和整合。
ILCEM模块类似于LSTM，具体图示和公式如下：
ITM模块，使用卷积操作融合信息
模型压缩：
正如上文所述，庞大的模型大小将导致芯片尺寸和功耗的显著增加。因此，我们提出了双向压缩方法，包括新颖的知识定义和压缩方向。根据图像处理的特性，我们重新定义了图像处理神经网络中的知识。图像处理是像素级图像映射的任务，一个网络可以通过在各种数据集上进行训练来完成不同的映射任务，例如[58]中的不同风格。这意味着网络的能力主要取决于其学习的参数。因此，网络的学习参数被用作知识。
此外，当前的压缩方法专注于减少通道数[25]，[56]，这对模型大小的影响大于层数。相反，我们在通道和层两个方向上压缩模型。众所周知，卷积层提取的特征主要存储在通道中，如果通道数太少，特征提取将不足，这会影响网络的能力和最终图像质量。此外，由于特征存储不足，网络的深层会变得较弱。因此，在双向压缩中，将具有较小通道数的压缩深层删除。
在双向压缩中，首先减少卷积层的通道数，并将压缩模型中的参数初始化为压缩前模型中对应的参数。如果压缩模型中某一层的参数数量为P，则选择压缩前模型中对应层的前P个参数进行初始化。
如果通道中的冗余已经被移除，进一步压缩通道不太适合，而是更适合删除深层。原因有两点：1）当通道数减少到一定值时，深层无法充分发挥作用，2）深层的参数占据了模型大小的很大比例。因此，模型在层方向上进一步压缩。压缩模型的初始化采用未压缩模型对应参数，其中忽略了已删除层的参数。
在不同任务上的应用：
双向压缩方法被应用于模型中。首先，对四个信息传输模块（ITMs）中的层、编码器中的最后一个卷积层和解码器中的第一个卷积层的通道数量减半（在通道方向上压缩）。然后，移除中间两个信息传输模块（在层方向上压缩）。
实验
消融实验，ITM使用中间的信息传输快，Cc通道维度压缩，Cl层数压缩，knw使用先前训练的参数进行初始化
内存需要：
如表V所示，LineDL（LineDN和LineSR）的内存需求随着图像分辨率的增加呈线性增长。此外，如表III所示，LineDN的模型大小是UNet的九分之一，比DnCNN [74]大了0.97 MB，但后者的质量不可接受。对于超分辨率模型（表IV），LineSR的模型大小接近于设计用于在移动设备上运行的高效超分辨率模型[23]，[24]，[25]。需要注意的是，如果LineSR仅支持×2、×3和×4的超分辨率任务，则其模型大小可以分别减小为3.81 MB、4.51 MB和4.37 MB。
我们进行的大量实验表明，我们提出的LineDL将基于DL的模型调整为逐行模式，降低了内存需求和模型大小，同时保证了质量。其内存需求随着图像分辨率的增加呈线性增长。所有这些优点使得将基于DL的模型插入ISP成为可能，从而使移动设备能够利用深度学习的优势。
然而，我们的算法仍然存在一些局限性。首先，由于其复杂的模型设计，我们的算法质量并未超越SOTA算法。为了使DL适应移动设备，我们专注于DL基础图像处理中的一种新型处理模式。在未来的工作中，我们将进一步优化算法的网络结构，以超越SOTA算法。其次，难以实现对发送到模型的前几行的逐行间关联。通常，图像边缘是一个平坦的背景区域，可以通过纯粹的空间处理来处理，因此缺少逐行间关联对当前行的影响很小。镜像填充可以提高LineDL的质量，因为可以利用前几行的逐行关联。最后，模型大小应进一步减小，以便进行硬件实现