source: ICCV09
authors: Daniel Glasner Shai Bagon Michal Irani
简介
- 超分辨率
输入一张低分辨率图像，比如100x100，将其升高到到高分辨率，比如200x200，并且要求清晰度尽量不变。也就是输出结果比输入有着更多的信息，是一个ill-posed的问题，所以称为“超”分辨。一开始超分辨问题一般是用多张的相似的低分辨图像恢复成单张高分辨率图像，后来发现了其局限性，提出了基于样例学习的方法，即通过产生多个“低分辨-高分辨”图像对并学习其中的对应关系。该文章将上述两种方法称为“Classical SR”和“Example-based SR”，并提出一个框架将它们整合在一起，而且能够用于单张低分辨率图像到高分辨率图像的恢复。
核心
见上图，作者发现了图像的自相似性：即在同一个张图片的多个尺度下，能够找到外观极其类似的图像块。例，在原图中，左上角子图中的红框是屋子的一扇窗户；而在低分辨率图像中，它跟屋子的门极其相似（左下角子图红框）。于是可以认为找到了一个“低分辨-高分辨”图像对，这样就能够利用相关信息进行恢复。
两种形式的恢复
- 第一种Classical SR。
上图(a)中代表的过程就就是Classical SR的过程，也就是利用多张低分辨图像的同样位置的patch来拟合高分辨率图像中的对应区域。对于低分辨率图片中的一点，可以找到高分辨率图片的一个patch进行对应，可以改写成一个线性的约束表达式：
当这些区域之间有重叠的时候，就可以通过联立方程求解了。这个就是Classical SR的一般性求解过程，这里需要多张低分辨率图像。加上该文章提出的自相似性，就可以只用单张的低分辨率图像了：对于低分辨图像中的每个patch，用NN找到相似的patch，然后映射会高分辨率的感受野，通过重叠部分来联立方程。（对应上图(b)）
然后说第二种Example-based SR。其实也直观，就是Classical SR是在同一个尺度下找相似的，而Example-based SR是在不同尺度下找相似的。
