论文:Learning a Deep Convolutional Network for Image Super-Resolution
代码:项目主页
作为将深度学习应用于超分辨的开山之作,论文的思路来源于前人的基于稀疏编码的单帧超分辨重建算法。作者设计了一个3层的CNN,以逐像素损失为代价函数。感觉没有什么特别的技巧,取得了state of art的效果。
网络结构
- 预测过程:首先将图像插值一定的倍数作为输入图像,然后通过网络,输出结果。
- 训练过程:对高分辨率图像随机选取一些patch,然后进行降采样,然后进行升采样,以此作为输入,并以原始高分辨率图像作为目标,采用逐像素损失为优化目标。
滤波器的大小分别为:3 x 9 x 9 x 64, 64 x 1 x 1 x 35, 35 x 5 x 5 x 1。
整个卷积的过程不改变特征图的大小,让人简直不敢相信的就取得了state of art的效果。
设计思路
作者这个思路是从稀疏编码得来的,并把上述过程分别表述为:Patch extraction, Non-linear mapping, Reconstruction。
- Patch extraction: 提取图像Patch,进行卷积提取特征,类似于稀疏编码中的将图像patch映射到低分辨率字典中
- Non-linear mapping: 将低分辨率的特征映射为高分辨率特征,类似于字典学习中的找到图像patch对应的高分辨字典
- Reconstruction:根据高分辨率特征进行图像重建。类似于字典学习中的根据高分辨率字典进行图像重建