本笔记是针对李宏毅教授在b站上的视频《ML Lecture 9-1：Tips for Training DNN》的学习笔记的下半半部分。
1.正则化（Regularization）
引申：人脑中的正则化，人的大脑中的神经连接数也是先增加后减少，我们可以猜测这是因为更精简的模型可以带来更好的表现。
我们重新定义一下要去最小化的损失函数：在原来的损失函数上加上正则项。
L是范数符号，L2正则化：
而(1−ηλ)每次都是一个小于1的数，所以其实每一次更新都会使参数衰减一点，最终会衰减到0，但是因为有后项最终w只会得到一个很小的值但是不会为0。
上面是L2正则化，下面看看L1正则化：
如上图，我们可以看到L1与L2作参数更新时的差别：L1是每次参数多减去一个固定值，而L2是每次对参数进行乘以一个小于1的正值的衰减，因此L1最后会得到比较多的0值（更稀疏），而L2会得到比较多的较小但非0的值。
2.Dropout
做法：训练过程中，每一次更新参数前，我们对网络中的每个神经元做一次sampling，即令每个神经元有p%的概率被丢弃掉，然后只更新余下的神经元的参数。
注意：dropout只有在训练的时候才会使用。
测试时怎么做呢：不做dropout！！！并对参数乘以(100-p)%。
为什么要乘以(100-p)%？
用dropout训练时，期望每次会有p%的神经元未得到训练。而在测试集上，每次都是所有的神经元都参与了工作，所以在计算z值时，会是原来训练时的100%−p倍，因此需要在测试时乘以(100-p)%。
为什么Dropout会有效呢?
小李训练时会绑沙袋，而一放下沙袋，束缚束缚，能力就会增强。
Dropout是一种ensemble
因为每次用一个minibatch的数据对NN进行训练时，由于dropout，每次都相当于训练了一个新结构的网络，那么当我们整个NN中有M个神经元时，我们最多可以训练处2M
个可能的网络，而最终测试时，也就相当于这些网络合力给出结果。
也不用担心说一个网络只用一个batch来训练，效果会不会很差，因为神经元的参数是共享的，大家其实可以整体看做还是在合力使得彼此的能力都变得更强。
那么按理来说，我们如果这样做ensemble（集成），
最后应该把所有的网络都输入测试数据x，再取所有输出的平均作为结果
但是因为网络数量太多，这样做不太实际。而神奇的就是：当我们把所有的网络参数乘以(100-p)%，然后把测试数据x输入到原本的网络中，它的输出结果就和ensemble的结果很接近！！！
为什么呢？
用一下一个单一的神经元的例子就可以看出来：
