待更新
5.7 监督学习算法
5.7.1 概率监督学习
逻辑回归(logistic regression)
关于逻辑回归，之前在csdn上有总结了一篇文章，链接如下：
https://blog.csdn.net/jiebanmin0773/article/details/82962182
5.7.2 支持向量机
支持向量机 (support vector machine, SVM):
详细链接：//www.greatytc.com/p/5b3dafbd95e1
5.7.3 其他简单的监督学习算法
决策树(decision tree):
5.8 无监督学习算法
5.8.1 主成分分析
5.8.2 k-均值聚类
5.9 随机梯度下降
5.10 构建机器学习算法
5.11 推动深度学习的挑战
5.11.1 维数灾难
维数灾难 (curse of dimensionality):
当样本在低维空间没有办法被线性可分时，我们会将其映射到高维空间使其线性可分。维度越高，被线性可分的可能性越大。而维度过高则会带来维数灾难的问题。
以书中的图为例：
通俗理解：假设每个维度有10个单位间隔，我们需要对10个样本数据划分成5类。第一张图是一维的，总共有10个单位间隔，每个间隔就有1个样本。第二张图是二维，总共10*10=100个单位间隔，每个单位间隔只有0.1个样本。以此类推，第三张图每个单位间隔只有0.01个样本。纬维数越多，我们需要的样本数量是成指数级增长的。
许多传统机器学习算法只是简单地假 设在一个新点的输出应大致和最接近的训练点的输出相同。然而在高维空间中，这 个假设是不够的。
5.11.2 局部不变性和平滑正则化
**
5.11.3 流形学习
通俗理解:总共有26个英文字母。从这26个字母中随机抽取字母生成文件，那么这个文件被读懂的概率很低。因为大概率生成的字母序列并不是自然语言序列。自然语言序列的分布只占了字母序列的总空间里非常小的一部分。相当于自然语言的序列是字母序列空间中的一个相当小的流形中。除了概率的集中分布，样本之间的连接，每个样本被其他高度相似的样本包围， 可以通过变换来遍历该流形。
