1、怎样选用激活函数
激活函数选用的两个考虑因素：
（1） 饱和问题
如果激活函数的输入值落在饱和区间，梯度值就趋近于0，会发生梯度消失问题（sigmoid和tanh）
（2）输出值是否关于0对称
输出值如果关于0对称会加快网络收敛，因为可以避免优化的时候走“之字形”路线
2、sigmoid
当使用sigmoid作为激活函数时，随着神经网络隐含层（hidden layer）层数的增加，训练误差反而加大。表现为：
（1）靠近输出层的隐含层梯度较大，参数更新速度快，很快就会收敛；
（2）靠近输入层的隐含层梯度较小，参数更新速度慢，几乎和初始状态一样，随机分布；
（3）在含有四个隐藏层的网络结构中，第一层比第四层慢了接近100倍！
这种现象就是梯度弥散（vanishing gradient）。而另一种情况，梯度爆炸（exploding gradient），则是前面层的梯度，通过训练变大，导致后面层的梯度，以指数级增大。
由于sigmoid的导数值小于1/4，x变化的速率要快于y变化的速率，随着层数的增加，连续不断执行sigmoid函数，就会导致，前面更新较大的幅度，后面更新较小的幅度，因此，网络在学习过程中，更倾向于更新后面（靠近输出层）的参数，而不是前面的参数（靠近输入层）。
sigmoid缺点：
激活函数的计算量较大，在反向传播中，当求误差梯度时，求导涉及除法；
在反向传播中，容易出现梯度消失，无法完成深层网络的训练；
函数的敏感区间较短，(-1,1)之间较为敏感，超过区间，则处于饱和状态，
3、tanh
导数为：
tanh，即双曲正切（hyperbolic tangent），类似于幅度增大sigmoid，将输入值转换为-1至1之间。
tanh的导数取值范围在0至1之间，优于sigmoid的0至1/4，在一定程度上，减轻了梯度消失的问题。
tanh的输出和输入能够保持非线性单调上升和下降关系，符合BP（back propagation）网络的梯度求解，容错性好，有界。
4、relu
优点：
（1）梯度计算简单：既是非线性函数，又避免了像sigmoid函数的指数计算量大的问题
（2）relu的导数，在大于0时，梯度为常数，不会导致梯度弥散。
（3）半饱和，值大于零时，不会因为饱和而导致梯度消失
（4）半区域抑制，既有优点（神经网络稀疏性）又有缺点（如果学习率较大可能会有大量神经元死亡，较小就不会有这种现象），起到了类似L1的正则化作用，可以在一定程度上缓解过拟合。
缺点：
（1）输出值不是0对称，都是正值可能走“之字形”优化路线
（2）如果学习率较大可能会有大量神经元死亡，且不可逆转，导致数据多样性丢失
总结：
在神经网络中，隐含层的激活函数，最好选择ReLU。
5、leaky ReLu
leaky ReLU是解决ReLU的负区间导致神经元dead的问题，但是用的不多，因为ReLU可以实现稀疏性。其中k是leak系数(负区间的斜率)，一般选择0.01或者0.02，或者通过学习而来。
6、elu
elu激活函数也是为了解决relu的0区间带来的影响，其数学表达为：
但是elu相对于leakrelu来说，计算要更耗时间一些。
7、softmax函数
Softmax - 用于多分类神经网络输出，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解。多个分类的和为1.
原文链接：
https://blog.csdn.net/hhaowang/article/details/88697786
https://blog.csdn.net/u012370185/article/details/94558437
