摘要：机器学习定义；机器学习过程中的基本术语；
参考：
（2）《机器学习》周志华著，清华大学出版社
1.引言：
1.1机器学习定义：
研究如何通过计算的手段，利用经验来改善系统自身的性能的学科。（经验即数据）
另一本经典教材的作者Mitchell给出了一个形式化的定义，假设：
P：计算机程序在某任务类T上的性能。
若该计算机程序通过利用经验E在任务T上获得了性能P的改善，则称该程序对E进行了学习。
1.2机器学习研究主要内容
关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)
2.基本术语
2.1案例
假设我们收集了一批西瓜的数据，例如：（色泽=青绿;根蒂=蜷缩;敲声=浊响)， (色泽=乌黑;根蒂=稍蜷;敲声=沉闷)， (色泽=浅自;根蒂=硬挺;敲声=清脆)……
2.2基本术语
有时将整个数据集亦称一个“样本”（因为他可看作对样本空间的一个采样）。
例如我们把"色泽" "根蒂" "敲声"作为三个坐标轴，则它们张成 一个用于描述西瓜的三维空间，每个西瓜都可在这个空间中找到自己的坐标位置。
由于空间中的每个点对应一个坐标向量，因此我们也把一个示例称为一个 "特征向量" (feature vector)。
计算机程序学习经验数据生成算法模型（也称为“学习器”（learner））的过程中，训练过程中使用的数据称为"训练 数据" (training data)，其中每个样本称为一个“训练样本" (training sample) ，亦称“训练示例”(training instance) 或“训练例”；同时在训练好模型后，我们希望使用新的样本来测试模型的效果，则每一个新的样本称为一个“测试样本”(testing sample)。定义：
西瓜的例子中，我们是想计算机通过学习西瓜的特征数据，训练出一个决策模型，来判断一个新的西瓜是否是好瓜。可以得知我们“预测” (prediction)的是：西瓜是好是坏，即好瓜与差瓜两种，是离散值。同样地，也有通过历年的人口数据，来预测未来的人口数量，人口数量则是连续值。定义：
对只涉及两个类别的“二分类”(binary classification)任务，通常称其中一个类为“正类”(positive class)； 另一个类为“反类”(negative class); 涉及多个类别时，则称为“多分类”(multi-class classification)任务。
一般地，预测任务是希望通过对训练 集 {(,
) , (
,
) ,..., (
,
)} 进行学习，建立一个从输入空间
到输出 空间
的映射 f:
. 对二分类任务，通常令
= {-1, +1} 或 {0, 1}; 对 多分类任务，
>2; 对回归任务，
=
，
为实数集。
我们预测西瓜是否是好瓜的过程中，很明显对于训练集中的西瓜，我们事先已经知道了该瓜是否是好瓜，学习器通过学习这些好瓜或差瓜的特征，从而总结出规律，即训练集中的西瓜我们都做了“标记”(label)，称为标记信息。拥有了标记信息的示例，则称为“样例”(example)。但也有没有标记信息的情形，例如：我们想将一堆西瓜根据特征分成两个小堆，使得某一堆的西瓜尽可能相似，即都是好瓜或差瓜，对于这种问题，我们事先并不知道西瓜的好坏，样本没有标记信息。定义：
,
）表示第i个样例， 其中
是示例
是所有标记的集合， 亦称“标记空间”(label space)或“输出空间”。
