1.监督学习（supervised learning）
必须确定目标变量的值，以便机器学习算法可以发现特征和目标变量之间的关系。在监督学习中，给定一组数据，我们知道正确的输出结果应该是什么样子，并且知道在输入和输出之间有着一个特定的关系。 (包括：分类和回归)
样本集：训练数据 + 测试数据
训练样本 = 特征(feature) + 目标变量(label: 分类-离散值/回归-连续值)
特征通常是训练样本集的列，它们是独立测量得到的。
目标变量: 目标变量是机器学习预测算法的测试结果。
在分类算法中目标变量的类型通常是标称型(如：真与假)，而在回归算法中通常是连续型(如：1~100)。
监督学习需要注意的问题：
偏置方差权衡
偏置(bias)：训练模型的时候，每一次训练得到的训练集预测标签与原始真实标签的偏离程度(即③与①的差)，如果此偏离程度过小，则会导致过拟合的发生，因为可能将训练集中的噪声也学习了。所以说偏置刻画了学习算法本身的拟合能力，如果拟合能力不好，偏置较大，出现欠拟合；反之拟合能力过好，偏置较小，容易出现过拟合。在训练的时候可以发现这个bias理论上应该是逐渐变小的，表明我们的模型正在不断学习有用的东西。【当然这是针对只有一个训练集的情况下，如果有多个训练集，就计算出每一个样本在各个训练集下的预测值的均值，然后计算此均值与真实值的误差即为偏差】
方差(variance)：同样是针对训练模型时每一次得到的训练集预测标签，但是此时是最终一次训练以后得到的所有标签之间的方差且与真实标签无关(即③本身的方差)，即计算这些预测标签的均值，再计算(每一个标签-均值)的平方和。可以想象，刚开始方差肯定是很小的，因为刚开始学习，啥都不会，即使对于有或者无噪声的数据，我们都无法做出精准判断，然而随着学习的进行，有些我们会越学越好，但是会越来越多地受到噪声数据的干扰，方差也会越来越大。
功能的复杂性和数量的训练数据
输入空间的维数
噪声中的输出值
知识表示：
可以采用规则集的形式【例如：数学成绩大于90分为优秀】
可以采用概率分布的形式【例如：通过统计分布发现，90%的同学数学成绩，在70分以下，那么大于70分定为优秀】
可以使用训练样本集中的一个实例【例如：通过样本集合，我们训练出一个模型实例，得出 年轻，数学成绩中高等，谈吐优雅，我们认为是优秀】
非监督学习（unsupervised learing）
在机器学习，无监督学习的问题是，在未加标签的数据中，试图找到隐藏的结构。因为提供给学习者的实例是未标记的，因此没有错误或报酬信号来评估潜在的解决方案。
无监督学习是密切相关的统计数据密度估计的问题。然而无监督学习还包括寻求，总结和解释数据的主要特点等诸多技术。在无监督学习使用的许多方法是基于用于处理数据的数据挖掘方法。
数据没有类别信息，也不会给定目标值。
非监督学习包括的类型：
聚类：在无监督学习中，将数据集分成由类似的对象组成多个类的过程称为聚类。
密度估计：通过样本分布的紧密程度，来估计与分组的相似性。
此外，无监督学习还可以减少数据特征的维度，以便我们可以使用二维或三维图形更加直观地展示数据信息。
强化学习
这个算法可以训练程序做出某一决定。程序在某一情况下尝试所有的可能行动，记录不同行动的结果并试着找出最好的一次尝试来做决定。 属于这一类算法的有马尔可夫决策过程。
训练过程
算法汇总
算法的评价
特征工程
