简介
Spectral normalization for generative adversarial networks.ICLR-2018,Cited-864.
official,chainer,star-808.
unofficial,pytorch,star-103.
unofficial,pytorch.
关键字
GAN，生成模型，深度学习，机器学习
正文
1. 动机
进一步解决GAN训练不稳定的问题，针对WGAN简单粗暴的权重剪切，WGAN-GP的惩罚区间有限，提出了更加合理和有效的谱归一化。谱归一化可以使GAN的训练更加稳定；仅有一个主要的超参数且该参数不敏感；只需付出有限的计算代价。
2. 原理
在GAN的判别器上使用EMD距离需要利普西茨限制，对于一个线性函数有以下关系成立，代表谱范数时：
一般情况下，激活函数满足（如ReLU函数），此时对于判别器（不含最后一层的激活）所代表的函数有下面成立，其中
代表网络的第
层：
根据上面的关系，假设我们需要利普西茨常数为1的判别器函数，则：
3. 算法
具体在求谱范数时采用迭代的算法来近似，使用谱归一化的整个算法（Al1）如下：
算法.png
4. 效果
使用IS和FID两个指标来衡量，如图（原文Fig1，2）所示：
IS.png
FID.png
参考资料
[1] Miyato, Takeru, et al. "Spectral normalization for generative adversarial networks." arXiv preprint arXiv:1802.05957 (2018).
