文献阅读·58-SNGAN

Spectral normalization for generative adversarial networks.ICLR-2018,Cited-864.
official,chainer,star-808.
unofficial,pytorch,star-103.
unofficial,pytorch.

GAN，生成模型，深度学习，机器学习

进一步解决GAN训练不稳定的问题，针对WGAN简单粗暴的权重剪切，WGAN-GP的惩罚区间有限，提出了更加合理和有效的谱归一化。谱归一化可以使GAN的训练更加稳定；仅有一个主要的超参数且该参数不敏感；只需付出有限的计算代价。

在GAN的判别器上使用EMD距离需要利普西茨限制，对于一个线性函数有以下关系成立， $\sigma$ 代表谱范数时：

$g(h)=Wh\Rightarrow \mid\mid g\mid\mid _{Lip}=\sigma(W)$

一般情况下，激活函数满足 $\mid\mid a\mid\mid _{Lip}=1$ （如ReLU函数），此时对于判别器（不含最后一层的激活）所代表的函数有下面成立，其中 $l$ 代表网络的第 $l$ 层：

$\mid\mid f\mid\mid_{Lip}\le\prod_{l=1}^{L+1}\sigma(W^l)$

根据上面的关系，假设我们需要利普西茨常数为1的判别器函数，则：

$\overline W_{SN}:=W/\sigma(W)$

具体在求谱范数时采用迭代的算法来近似，使用谱归一化的整个算法（Al1）如下：

算法.png

使用IS和FID两个指标来衡量，如图（原文Fig1，2）所示：

IS.png

FID.png

[1] Miyato, Takeru, et al. "Spectral normalization for generative adversarial networks." arXiv preprint arXiv:1802.05957 (2018).

最后编辑于：2020.03.13 12:39:38