。1.1概述

    假如有一组两种标签的数据，两种标签分布用圆和方块来显示，支持向量机的分类方法是在这组数据分布中找到一个超平面作为决策边界，使模型在数据上的分类误差尽量接近于小，尤其是在未知数据集上的分类误差（泛化误差）尽量小。

 注解：超平面：在几何中，超平面是一个空间的空间，它的维度比所在空间小一维的空间， 如果数据空间本身是三维的，则其超平面是二维平面，而如果数据空间本身是二维的，则其超平面是一维的直线。在二分类问题中，如果一个超平面能够将数据划分为两个集合，其中每个集合中包含单独的一个类别，我们就说这个超平面是数据的“决策边界”。

    如果我们能找到决策边界，使得决策边界一侧的所有点在分类中属于一个类，而另一侧的所有点属于另一个分类，就可以把分类问题变成探讨每个样本对于决策边界而言的相对位置。

    比如上面的两种标签数据，很容易就在圆和方块中间画出一条线，并让所有落在直线左边的样本被分类为方块，右边的样本被分类为圆，如果把数据当作我们的训练集，只要直线的一边只有一种类型的数据，就没有分类错误，我们的训练误差就会为0。但是，对于一个数据集来说，让训练误差为0的决策边界可以有无数条。但在此基础上，我们无法保证这条决策边界在未知数据集（测试集）上的表现也会优秀。对于现有的数据集来说，我们有和两条可能的决策边界。我们可以把决策边界向两边平移，直到碰到离这条决策边界最近的方块和圆圈后停下，形成两个新的超平面，分别是和 ，并且我们将原始的决策边界移动到和 的中间，确保到和的距离相等。在和中间的距离，叫做这条决策边界的边际(margin)，通常记作。对也执行相同的操作，然后来对比两个决策边界。现在两条决策边界右边的数据都被判断为圆，左边的数据都被判断为方块，两条决策边界在现在的数据集上的训练误差都是0，没有一个样本被分错。

    为了简便，和称为“虚拟超平面”，这两个超平面是由原来的决策边界向两边移动，直到碰到距离原来的决策边界最近的样本后才停下而行程的超平面。

    接下来加入与原本的数据集分布相同的参数样本（红色样本），平面中的样本变多后，对于而言，依然没有分错任何样本，这条决策边界上的泛化误差也是0，对于而言，却有三个方块的样本被误分为圆的，两个圆误分为方块，这条决策边界上的泛化误差就远大于，所以拥有更大边际的决策边界在分类中的泛化误差更小，这一点可以由结构风险最小化定律来证明（SRM）。如果边际很小，则任何轻微扰动都会对决策边界的分类产生很大的影响。边际很小的情况，是一种模型再训练集上表现很好却在测试集上表现很糟糕的情况，所以会过合，所以我们在找寻决策边界的时候，希望边际越大越好。

    支持向量机就是通过找出边际最大的决策边界，来对数据进行分类的分类器，因此，支持向量分类器又叫最大边际分类器。

1.2支持向量机原理的三层理解

    目标是“找出边际最大的决策边界”，这是一个最优化问题，二最优化问题往往和损失函数联系在一起，SVM也是通过最小化损失函数求解一个用于后续模型使用的主要信息：决策边界

sklearn中支持向量机，注意，除了特别表明是线性的两个类LinearSVC和LinearSVR之外，其他的所有类都是同时支持线性和非线性的。NuSVC和NuSVC可以手动调节支持向量的数目，其他参数都与最常用的SVC和SVR一致。注意OneClassSVM是无监督的类。

1.3 线性SVM用于分类的原理

    假设现在数据中总计有N个训练样本，每个训练样本可以表示为，其中是这样的一个特征向量，每个样本总共含有n个特征，二分两类标签的取值{-1,1}。

    如果n=2,则有，分别由特征向量和标签组成，此时的二维平面上，以为横坐标，为纵坐标，为颜色，来可视化我们所有的N个样本：

    让所有紫色点的标签为1，红色点的标签为-1。我们要在这个数据集上寻找一个决策边界，在二维平面上，决策边界（超平面）就是一条直线。二维平面上的任意一条线可以被表示为：，将表达式变换一下

[a, -1]就是我们的参数向量 w，x 就是我们的特征向量， b是我们的截距

    这个表达式跟线性回归的公式很相似：,线性回归中等号的一边是标签，回归过后会拟合出一个标签，而决策边界的表达式中却没有标签的存在，全部是由参数，特征和截距组成的一个式子，等号的一边是0。在一组数据下，给定固定的w和b，这个式子就可以是一条固定直线，在w和b不确定的状况下，这个表达式就可以代表平面上的任意一条直线。如果在w和b固定时，给定一个唯一的x的取值，这个表达式就可以表示一个固定的点。在SVM中，我们就使用这个表达式来表示我们的决策边界。我们的目标是求解能够让边际大化的决策边界，所以我们要求解参数向量w和b截距 。如果在决策边界上任意取两个点  和，并带入决策边界的表达式，则有：和，两式相减，可以得到    

    一个列向量的转置乘以另一个列向量，可以获得两个向量的点积（dot product）,表示为。两个向量的点机为0表示两个向量的方向互相垂直，是一条直线上两个点，相减后得到的向量方向是由指向，所以的方向是平行于它们所在的直线（决策边界），而w与相互垂直，所以参数向量w的方向必然垂直于决策边界。此时就有决策边界，任意一个紫色的点就可以被表示为：，由于紫色的点所代表的标签y是1，所以我们规定p>0.同样，对于任意一个红色的点，可以表示为,红色的点所代表的标签y是-1，所以我们规定r<0。如果我们有新的测试数据 ，则的标签就可以根据以下式子来判定：

    决策边界的两边要有两个超平面，这两个超平面在二维空间中就是两条平行线（虚线超平面），而它们之间的距离就是边际。而决策边界位于这两条线的中间，所以这两条平行线必然是对称的，这两条平行线可以表示为：，，两个表达式同时除以k，则可以得到：，这就是平行于决策边界的两条线的表达式，表达式两边的1和-1分别表示了两条平行于决策边界的虚线到决策边界的相对距离，此时可以让这两条线分别过两类数据中距离我们的决策边界最近的点，这些点被称为“支持向量”，而决策边界用于在这两条线的中间，所以可以被调整，令紫色类的点为,令红色类的点为，则有，

两个式子相减则有：。

    如图所示，可以表示为两点之间的连线，而边际是平行于的，所以我们现在，相当于是得到了三角型中的斜边，并且知道一条直角边的方向。在线性代数中，我们有如下数学性质：

    向量b除以自身的模长||b||可以得到b方向上的单位向量。

    向量a乘以向量b方向上的单位向量，可以得到向量a在向量b方向上的投影的长度。

    所以，我们另上述式子两边同时除以 ，则可以得到：，即，我们要求最大边界所对应的决策边界，那就是要最大化，就是求解的最小值。极值问题可以相互转化， 把求解的最小值转化为求解以下函数的最小值：

    之所以要在模上加平方是因为模长的本质是一个距离，所以它是一个带根号的存在，我们对它取平方是为了消除根号（其实模长的本质是向量的l2范式）

    我们的两条虚线表示的超平面，是数据边缘所在的点。所以对于任意样本，我们可以把决策函数写作：

    整理一下，把两个式子整合成：  ，这个式子被称为“函数间隔”，将函数间隔作为条件附件到上，就得到了SVM的损失函数的最初形态：

1.4 函数间隔与几何间隔

重要定义：函数间隔与几个间隔

对于给定的数据集T和超平面，定义超平面关于样本点的函数间隔为：，这是虚线超平面的表达式整理后得到的式子，函数间隔可以表示分类预测的正确性以及确信度，再在这个函数间隔的基础上除以的模长来得到几何间隔：，几何间隔的本质就是点到超平面，即到我们的决策边界的带符号的距离(signed distance)

    为什么几何间隔能够表示点到决策边界的距离？如果理解点到直线的距离公式就可以很简单的理解这个式子，对于平面上的一个点和一条直线，我们可以推导出点到直线的距离为：，其中[a，b]就是直线的参数向量，而其实就是参数的模长||w||。在几何间隔中，的取值是{-1,1}，所以并不影响整个表达式的大小，只是影响了方向，而是决策边界，所以直线带入后再除以参数向量的模长，就可以得到点到决策边界的距离。