【深度学习】VGGNet原理解析及实现
VGGNet由牛津大学的视觉几何组（Visual Geometry Group）和Google DeepMind公司的研究员共同提出，是ILSVRC-2014中定位任务第一名和分类任务第二名。其突出贡献在于证明使用很小的卷积（3*3），增加网络深度可以有效提升模型的效果，而且VGGNet对其他数据集具有很好的泛化能力。到目前为止，VGGNet依然经常被用来提取图像特征。
VGGNet探索了CNN的深度及其性能之间的关系，通过反复堆叠3*3的小型卷积核和2*2的最大池化层，VGGNet成功的构筑了16-19层深的CNN。
一、VGGNet结构
VGGNet有A-E七种结构，从A-E网络逐步变深，但是参数量并没有增长很多（图6-7），原因为：参数量主要消耗在最后3个全连接层，而前面的卷积层虽然层数多，但消耗的参数量不大。不过，卷积层的训练比较耗时，因为其计算量大。
其中，D和E是常说的VGGNet-16和VGGNet-19。C很有意思，相比于B多了几个1*1的卷积层，1*1卷积的意义在于线性变换，而输入的通道数和输出的通道数不变，没有发生降维。
VGG的性能：
VGGNet网络特点：
VGGNet拥有5段卷积，每段卷积内有2-3个卷积层，同时每段尾部都会连接一个最大池化层（用来缩小图片）。
每段内的卷积核数量一样，越后边的段内卷积核数量越多，依次为:64-128-256-512-512
越深的网络效果越好。(图6-9)
LRN层作用不大（作者结论）
11的卷积也是很有效的，但是没有33的卷积好，大一些的卷积核可以学习更大的空间特征。
为什么一个段内有多个3*3的卷积层堆叠？
这是个非常有用的设计。如下图所示，2个33的卷积层串联相当于1个55的卷积层，即一个像素会跟周围55的像素产生关联，可以说感受野大小为55。而3个33的卷积层相当于1个77的卷积层。并且，两个33的卷积层的参数比1个55的更少，前者为233=18，后者为155=25。
更重要的是，2个33的卷积层比1个55的卷积层有更多的非线性变换（前者可使用2次ReLu函数，后者只有两次），这使得CNN对特征的学习能力更强。
所以3*3的卷积层堆叠的优点为：
（1）参数量更小
（2）小的卷积层比大的有更多的非线性变换，使得CNN对特征的学习能力更强。
与其他网络对比：
与ILSVRC-2012和ILSVRC-2013最好结果相比，VGGNet优势很大。与GoogLeNet对比，虽然7个网络集成效果不如GoogLeNet，但是单一网络测试误差好一些，而且只用2个网络集成效果与GoogLeNet的7网络集成差不多。
