正向传播相关函数与概念理解
sigmoid激活函数:
产生的原因，将线性的结果非线性化，转化到0~1之间。
计算公式：
说明：x为变量
Softmax函数
产生原因将输出的各个元素为0~1之间的实数，这些元素全部加起来为1.
计算公式:
损失函数的一个类型，表达模型好坏的一个参数，越小越好：
交叉熵：
分类类别-logt 概率，多个输入，则分类类别-logt 概率的平均值
上图为函数的曲线表示，已知t均小于1，所以t越大，logt越大，- logt越小，则接近于0。
反向传播相关函数与概念理解
反向传播发的关键是链式法则，链式法则是复合函数的求导法则，复合函数即多个函数构成的函数。
反向传播算法简单来说就是采用前层神经元对后层神经元的影响大小*学习率来更新权重信息，新权重值=权重值-影响大小*学习率
