4.1 感知机
-
多层感知机中的特征神经元模型称为感知机
4.2 多层感知机
- 隐藏层
- 多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。
-
隐藏层位于输入层和输出层之间。
- 神经网络
-
越多的神经元，就越能够表达能复杂的模型
-
- 多层感知机
- 增加更多的隐藏层？
- 与单层神经网络等价
- 解决问题的一个方法是引入非线性变换。
-
非线性变换函数被称为激活函数（activation function）。
-
- 增加更多的隐藏层？
4.3 激活函数
- ReLU函数
- ReLU（rectified linear unit）函数提供了一个很简单的非线性变换。
-
给定元素x，该函数定义为：
-
可以看出，ReLU函数只保留正数元素，并将负数元素清零。
- sigmoid函数
-
sigmoid函数可以将元素的值变换到0和1之间：
-
- tanh函数
-
tanh（双曲正切）函数可以将元素的值变换到-1和1之间：
-
