六、硬间隔和软间隔模型
之前两章介绍的内容是硬间隔模型：
《05 SVM - 支持向量机 - 概念、线性可分》
《06 SVM - 线性可分SVM算法和案例》
线性可分SVM中要求数据必须是线性可分的，才可以找到分类的超平面，但是有的时候线性数据集中存在少量的异常点，由于这些异常点导致了数据集不能够线性划分；直白来讲就是：正常数据本身是线性可分的，但是由于存在异常点数据，导致数据集不能够线性可分；
如果线性数据中存在异常点导致没法直接使用SVM线性分割模型的时候，我们可以通过引入软间隔的概念来解决这个问题；
硬间隔：可以认为线性划分SVM中的距离度量就是硬间隔，在线性划分SVM中，要求函数距离一定是大于1的，最大化硬间隔条件为：
软间隔： SVM对于训练集中的每个样本都引入一个松弛因子(ξ)，使得函数距离加上松弛因子后的值是大于等于1；这表示相对于硬间隔，对样本到超平面距离的要求放松了。
松弛因子(ξ)越大，表示样本点离超平面越近。如果松弛因子大于1，那么表示允许该样本点分错。
所以说加入松弛因子是有成本的，过大的松弛因子可能会导致模型分类错误，所以最终的目标函数就转换成：
PS：函数中的C>0是惩罚参数，是一个超参数，类似L1/L2 norm的参数；C越大表示对误分类的惩罚越大，C越小表示对误分类的惩罚越小；C值的给定需要调参。
优化损失函数的公式推导：
1、同线性可分SVM，构造软间隔最大化的约束问题对应的拉格朗日函数如下：
2、从而将我们的优化目标函数转换为：
3、优化目标同样满足KKT条件，所以使用拉格朗日对偶将优化问题转换为等价的对偶问题：
4、先求优化函数对于w、b、ξ的极小值，这个可以通过分别对优化函数L求w、b、ξ的偏导数得，从而可以得到w、b、ξ关于β和μ之间的关系。
5、将w、b、ξ的值带入L函数中，就可以消去优化函数中的w、b、ξ，定义优化之后的函数如下：
6、最终优化后的目标函数/损失函数和线性可分SVM模型基本一样，除了约束条件不同而已， 也就是说也可以使用SMO算法来求解。
硬间隔和软间隔模型小结：
在硬间隔最大化的时候，支持向量比较简单，就是离超平面的函数距离为1的样本点就是支持向量。
在软间隔中，根据KKT条件中的对偶互补条件: β(y(wx+b)-1+ξ)=0，从而有：当0<βi≤C的时候，并且ξi=0的样本点均是支持向量(即所有的0<βi<C)。即满足|wx+b|=1的所有样本均是支持向量。
PS： 软间隔和硬间隔中的支持向量的规则是一样的；
