Learning a Single Convolutional Super-Resolution Network for Multiple Degradations

现有的CNN模型都默认对HR图像采用bicubicly下采样，然而真实世界中并不是如此。对此，提出一个框架，能够将模糊核和噪声水平作为输入，进行图像的超分。

---

退化模型

退化过程可以总结如下：

$$y=(x\otimes k)\downarrow_s+n$$

其中$y$为LR图像，$k$为模糊核，$\otimes$代表卷积操作，$n$为加性噪声（AWGN）

模糊核

当模糊核比真实的模糊核更平滑时，恢复的图像会过于平滑。相反的，当模糊核比真实的模糊核更清晰的时候，恢复的图像会有高频的振铃现象。

噪声

原始LR图像也会有噪声，如果直接进行超分，同样也会放大噪声。而如果先去噪再超分就会丢失更多的信息，因此联合修复是最理想的解决方案。

下采样

包含直接下采样和双立方下采样，这里采用后者。

MAP （最大后验）

$$\mathbf{\hat{x}}=\arg\min_{\mathbf{x}}\frac1{2\sigma^2}\|(\mathbf{x}\otimes\mathbf{k})\downarrow_s-\mathbf{y}\|^2+\lambda\Phi(\mathbf{x})$$

其中$\frac1{2\sigma^2}\|(\mathbf{x}\otimes\mathbf{k})\downarrow_s-\mathbf{y}\|^2$是数据保真项，对图像修复的质量至关重要，$\Phi(\mathbf{x})$为正则化项, $\lambda$是权衡函数。

因此，上式可以化为

$$\hat{x}=\mathcal{F}(y,k,\sigma,\lambda;\Theta)$$

其中$\Theta$为参数。

进一步，可以化为

$$\hat{x}=\mathcal{F}(y,k,\sigma;\Theta).$$

但是我们发现输入的三个参数的维度不同，因此需要对此进行处理。

Dimensionality Stretching

如上图所示，首先将模糊核拉直，然后通过PCA降维到t，最后concat上噪声强度。然后进行广播，维度为$(t+1) \times H \times W$，最后和LR在通道维度上concat。

Network

HR subimages: $W \times H \times s^2 C$
HR : $sW \times sH \times C$