[0] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
0. DCGAN (Deep Convolutional Generative adversarial networks).
1. 初始idea是学习reusable feature representation,再添加到图像上,比如人脸上加上眼镜,房间内部加上多余的家具之类的,vector arithmetic方法应用,效果酷炫,可惜我用不到这部分内容QAQ
2. 因为也是用来添加content到原始图像上的,可以拓展到图像超分辨率重建方向,理论上效果比单一的若干层CNN模型效果好,更能逼近ground truth。
3. git工程available。毕竟是GAN发展史中第一个高借鉴率的“具有工程指导意义的”代码库,mark一个先!
4. 可借鉴的地方:
GAN思想,DRAW思想(借鉴自LAPGAN,residual network塔模型);
GAN实现代码,model部分;
可视化部分的代码;
=>应用到SR重建当中。
[1] Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network(Nov. 2016)
0. GAN+SR =>baseline
1. 理论部分:perceptual loss function = adversarial loss + content loss.
adversarial loss ->训练并缩小生成SR图像与目标SR图像之间差距。
content loss-> 训练perceptual similarity而非pixel space similarity(?)
以及使用subpixel方法处理input image =>“We increase the resolution of the input image with two trained sub-pixel convolution layers as proposed by Shi et al.”
2. 给出SRGAN>SRCNN的论证过程,给出图像感知质量评估的量化标准=>MOS指数(港真不能真让我找群志愿者肉眼评估图像重建效果吧(╯‵□′)╯︵┻━┻!)以及PSNR指数。注:MOS用于比较不同的SR方法对同一张图像的SR重建质量,PSNR用于使用一种SR方法重建多张图像,评估重建图像质量。(MSE降=PSNR升!=MOS升)
3. contribution
在图像四倍放大方面达到目前最优效果(PSNR指数评估,优化目标MSE)
提出优化目标为perceptual loss的SRGAN,其中 content loss不再基于MSE而是基于VGG的属性映射(?),对像素空间的变化的反应更加恒定(鲁棒性更强的意思?)
利用MOS指数表现,证明本文SRGAN的表现为业界领先。
0. subpixel 技巧。
1. subpixel的提出主要是为了优化,包括速度提升与效果优化。(毕竟目标在于real-time的图像与视屏)。因此文中大量评估了计算速度上的表现,以及应用subpixel技巧后的效果优化。
2. 其不足之处(或者说可发展的方面)在这里已经有过介绍,此处不赘述。
3. git工程available(非官方)。
4. 可借鉴之处:
subpixel技巧(有待斟酌)
代码!代码!代码!
这篇早于[1]一个月发布,[1]中也借鉴了subpixel这种技巧,并应用在图像预处理阶段。