目录
1.输出层激活函数的选择
2.Softmax激活函数的特征
3.Softmax激活函数的实现以及优化
对于机器学习问题，通常可分为分类问题与回归问题两类。
分类问题是指最终解决的是数据属于哪一个类别，如是苹果还是橘子；
回归问题则是依据某一个输入预测一个（连续的）数值的问题。
对于不同类型的问题，我们设计神经网络在输出层所使用的激活函数不同。通常对于分类问题使用Softmax激活函数，对于回归问题，使用恒等激活函数，因为回归问题一般都是预测一个数值，并不需要通过激活函数进行特殊处理。
恒等激活函数（回归问题）
函数会将输入按照原样输出，对于输入信息不做任何改动。
如下图所示：
Softmax激活函数（分类问题）
softmax函数的作用
Softmax函数的主要作用是将输出类别转换为每一种类型的“概率”。输出特征所属的类别即为概率值最大所对应的分类。
softmax函数数学公式如下：
exp(x)是表示ex的指数函数（e是纳皮尔常数2.7182 . . .）。假设输出层共有n个神经元，计算第k个神经元的输出yk。如上式所示，softmax函数的分子是输入信号ak的指数函数，分母是所有输入信号的指数函数的和。如下图所示，输出层通过箭头与所有输入层信号相连，受所有输入信号的影响。
softmax函数的特征：
1，输出为0到1之间的实数，
2，输出值的总和为1.因此可以把softmax函数的输出解释为“概率”。
这里需要注意的是，即便使用了softmax函数，各个元素之间的大小关系也不会改变。这是因为指数函数（ y = exp(x)）是单调递增函数。实际上，上例中 a的各元素的大小关系和 y的各元素的大小关系并没有改变。比如， a的最大值是第2个元素， y的最大值也仍是第2个元素。
Softmax激活函数的代码实现
注意：由于softmax函数的实现中要进行指数函数的运算，如果幂次值很大时，如e^100，指数函数的值很容易变得非常大，会发生溢出，为了解决这个问题，需要对softmax函数进行优化改进，具体推导公式如下：
其中C’可以为任意值，但是为了防止溢出，一般会使用输入信号中的最大值，用每一个值减去输入信号中的最大值（ai-C’）。
改进后的softmax函数代码如下：
上述代码中的(a-c)就是为了防止溢出，其中c是输入层信号中的最大值。
具体示例如下：
可以看出改进前，函数发生了溢出输出值为nan，改进后的函数可以正确计算。
总结
1. 通常输出层激活函数，对于分类问题选择softmax,对于回归问题选择恒等函数；
2. softmax函数在实现时需要注意指数计算的溢出问题，可以通过输入信号减去输入层的最大值后进行计算，防止溢出。
如果想关注更多深度学习相关内容，请进入链接《深度学习专栏》进行了解，谢谢！
