一、传统RNN的反向传播 隐藏层：输出层： 假设网络结构如上图所示，神经元没有激活函数，当时，初始值给定，则时刻，损失函数训练的目标就是采用梯度...

零、写在前面 循环神经网络（recurrent neural network）和递归神经网络（recursive neural network）...

一、softmax形态 从图中可以看出，softmax层和全联接层很相似。对于softmax层来说，输入多少节点，输出多少节点，它把预测的sco...

零、写在前面 因为SVM涉及高等数学多个概念点，所以在SVM推导之前，需要对补充一波数学知识，这其中包括： 点到直线距离公式 函数间隔 几何间隔...

一、过拟合overfitting 一般来说，模型的参数越多，模型就可以拟合更多的函数类型。但是，如果数据量太少不足以限制模型，那么模型的拟合结果...

深度卷积网络概述 卷积神经网络（CNN）是一种典型的前馈神经网络（feed-forward neural network，各神经元从输入层开始，...

一、感知机 （Perceptron） 感知机由多个输入乘以权重，再加上偏置（bias），经过一个激活函数（阶跃函数），最后输出，如下图所示 以二...