1. 有监督学习与无监督学习

前者训练集中的每个数据都有正确答案，后者反之（聚类）

2. 回归问题与分类问题

前者预测连续值输出，后者预测离散值输出

3. 梯度下降算法

梯度下降

下降公式如上图，注意两个参数是同时更新的，左边是正确的，注意区分！

4. 线性回归模型

线性回归模型的代价函数是一个下凹函数（凸函数），只有一个全局极小点，即最小点，因此通过梯度下降法可以方便地得到最小点，不用担心在某个极小点循环

5. 卷积神经网络

通过局部连接与权值共享极大地减少了训练参数。
CNN中主要有两种特殊的层：卷积层、池化/采样层
卷积层：卷积核在上一级输入层上滑动，目的是得到特征。
池化/采样层：针对卷积层操作，对特征信号进行抽取，减少训练参数的同时，减小过拟合。池化通常有max-pooling和mean-pooling两种。