神经元-神经网络的基本运算单位
单个神经元的计算能力有限，无法处理大规模的运算，所以出现了神经网络。
多层前馈神经网络
损失函数，找到min J(W,b,x,y)
很依赖于初始值
反向传播Backward Propagation
通过梯度来更新每一层的网络的参数W
神经网络的缺陷：
局部最优，极大取决于初始化的值
层数过多会出现梯度弥散，无法训练
卷积神经网络---卷积
一维的卷积
这里可以将f(m)*g(n-m)中g[-1]为不存在的数用0补齐即可
一个卷积就是一个特征
滤波器就是卷积和
卷积神经网络三特性：
1.局部连接
低层神经元的实现就是通过局部连接的思想。
人类神经元；
感受野：就是神经元关注的区域；
局部连接减少了参数量
2.权值共享
用同一个卷积核去卷；
直接的参数量大大缩小；在图像处理领域一次卷积操作就是一次特征提取；
3.池化
Max Pooling;
Mean Pooling；
扩大感受野
深度卷积网络构成：
卷积层（每一个卷积核就是一个特征）
池化层（没有任何需要学习的参数）
全连接层（把神经元全部连接起来）张量先展平，然后全连接
辅助层（反卷积层）在图像分割，图像生成领域（通过一个特征，经过一系列反卷积，最后生成原图）
BN（Batch Normalization）层
Dropout层，为了防止过拟合，一部分神经元不激活，测试阶段无dropout，所有神经元需要全连接。
LeNet（两层卷积）
