1、所有关于神经元、梯度、层的堆叠等概念最后都汇集到一个重点：神经网络能够发现并创建相关性

2、关联抽象：神经网络试图寻找在输入层和输出层之间的直接和间接关联，这种关联性由输入和输出数据集决定

3、局部关联抽象：任何给定的权重集合都通过优化来学习如何关联输入层与输出层的要求。当只有两层神经网络时，输入数据集和输出数据集被表达在输入层与输出层中，权重矩阵会搜寻两个数据集之间的相关性

4、全局关联抽象：前一层神经网络所应该得到的值，可以通过后一层神经网络的值和它们之间的权重的乘积来确定。这样，后面的层就可以告诉前面的层它们需要什么样的信号，从而最终找到与输出的相关性。这种交叉通信称为反向传播

5、神经网络就是一系列权重矩阵。当使用神经网络时，也是在创建对应每一层的向量。权重矩阵是从节点和节点的连线，向量就是一层层的节点

6、每个矩阵的维度与它们前后所连接的神经元的维度有直接关系。对神经网络的研究大多是为了寻找新的网络结构，从而更快地找到相关性，在未知数据上有更好的泛化表现

7、正向传播的代数表示：
layer_2 = relu(layer_0.dot(weights_0_1).dot(weights_1_2))

l₂ = relu(l₀ W₀)W₁

参考资料

《深度学习图解》