从线性可分 SVM 到线性 SVM
从现实情况引出线性 SVM
线性可分 SVM，这种 SVM 学习的训练数据本身就是线性可分的——可以很清晰地在特征向量空间里分成正集和负集。
线性可分 SVM 正负样本之间的间隔叫做“硬间隔”，也就是说在这个“隔离带”里面，肯定不会出现任何训练样本。
我们不难想到，这种情况在现实生活中其实是很少见的。更多的时候，可能是像下面这个样子：
如果没有红圈里那两个点，本来可以很好的分割：
可是，偏偏多了那两个点！都找不到分隔超平面了！像下图这样，分来分去，怎么都分不开：
如果我们不那么“轴”，不是完全禁止两个辅助超平面之间有任何样本点。而是允许个别样本出现在“隔离带”里面，那样是不是会变得好分得多？比如像下面这样：
这样看起来也很合理啊。而且，一般情况下，怎么能保证样本就一定能够被分隔得清清楚楚呢？从直觉上我们也觉得，允许一部分样本存在于“隔离带”内更合理。
正是基于这种想法，相对于之前讲的线性可分 SVM 的硬间隔（Hard Margin），人们提出了软间隔（Soft Margin） 的概念。
相应的，对应于软间隔的 SVM，也就叫做线性 SVM。
下面我们对照来看一看它们：
线性可分 SVM
线性可分 SVM 成立的前提是训练样本在向量空间中线性可分，即存在一个超平面能够将不同类的样本完全彻底且无一错漏地分开。
用数学式子表达，全部训练样本满足如下约束条件：
wxi+b⩾1,yi=1 wxi+b⩽1,yi=−1
这时，wxi+b=1 和 wxi+b=−1 这两个超平面之间的间隔叫做硬间隔。位于它们两个正中的 wxi+b=0 是最大分割超平面。
线性 SVM
硬间隔到软间隔
由于样本线性可分的情况在现实当中出现很少，为了更有效地应对实际问题，我们不再要求所有不同类的样本全部线性可分，也就是不再要求硬间隔存在。
取而代之的是将不同类样本之间的硬间隔变成软间隔，即允许部分样本不满足约束条件： yi(wxi+b)⩾1。
当然，我们还是希望不满足硬间隔条件的样本尽量少，还能够是一个“软”间隔，而非间隔根本不存在。
为了度量这个间隔“软”到何种程度，我们针对每一个样本 (xi,yi)，引入一个松弛变量 ξi，令 ξi⩾0，且 yi(wxi+b)⩾1−ξi。
对应到图形上是这样：
这样看起来，确实比硬间隔合理多了。
****优化目标****
于是，我们的优化目标就从原来的：
minw,b||w||22
s.t.1−yi(wxi+b)⩽0,i=1,2,...,m
变成了：
minw,b,ξ12||w||2+C∑mi=1ξi
s.t.yi(wxi+b)⩾1−ξi,i=1,2,...,m;ξi⩾0,i=1,2,...,m
其中 C 是一个大于0的常数，若 C 为无穷大，则 ξi 必然为无穷小，否则将无法最小化主问题。如此一来，线性 SVM 就又变成了线性可分 SVM。
当 C 为有限值的时候，才能允许部分样本不遵守约束条件 1–yi(wxi+b)⩽0。
这就是线性 SVM 的主问题！
对偶法最优化线性 SVM 主问题
算法思路
上面我们得出了线性 SVM 的主问题。
现在来回顾一下上节课我们讲解的，用对偶法求解线性可分 SVM 的主问题的思路——当时一共分了7步，不过这7步再抽象一下，大致可以分为4个阶段。
****Stage-1：根据主问题构建拉格朗日函数，由拉格朗日函数的对偶性，将主问题转化为极大极小化拉格朗日函数的对偶问题。
****Stage-2：分步求解极大极小问题。
在每次求解极值的过程中都是先对对应的函数求梯度，再令梯度为0。以此来推导出主问题参数和拉格朗日乘子之间的关系。
再将用拉格朗日乘子表达的主问题参数带回到拉格朗日函数中，最终一步步将整个对偶问题推导为拉格朗日乘子和样本 (xi,yi) 之间的关系。
****Stage-3：通过最小化拉格朗日乘子与样本量组成的函数（也就是 Stage-2 的结果），求出拉格朗日乘子的值。
这里，可以用 SMO 算法进行求解。
****Stage-4：将 Stage-3 求出的拉格朗日乘子的值带回到 Stage-2 中确定的乘子与主问题参数关系的等式中，求解主问题参数。
再根据主问题参数构造最终的分隔超平面和决策函数。
主问题求解
现在我们就按这个思路来对线性 SVM 主问题进行求解。
首先，将主问题写成我们熟悉的约束条件小于等于0的形式，如下：
minw,b,ξ12||w||2+C∑mi=1ξi
s.t.1−ξi−yi(wxi+b)⩽0,i=1,2,...,m;−ξi⩽0,i=1,2,...,m
然后开始逐步求解：
****1. 构建拉格朗日函数如下：****
L(w,b,ξ,α,μ)=12||w||2+C∑mi=1ξi+∑mi=1αi[1−ξi−yi(wxi+b)]+∑mi=1(−μiξi)
αi⩾0,μi⩾0
其中 αi 和 μi 是拉格朗日乘子，而 w、b 和 ξi 是主问题参数。
根据主问题的对偶性，主问题的对偶问题是：
maxα,μminw,b,ξL(w,b,ξ,α,μ)
****2. 极大极小化拉格朗日函数****
(1)极小化
首先 对 w、b 和 ξ 极小化 L(w,b,ξ,α,μ)——分别对 w、b和ξi 求偏导，然后令导数为0，得出如下关系：
w=∑mi=1αiyixi
0=∑mi=1αiyi
C=αi+μi
将这些关系带入线性 SVM 主问题的拉格朗日函数，得到：
minw,b,ξL(w,b,ξ,α,μ)=∑mi=1αi−12∑mi=1∑mj=1αiαjyiyj(xi⋅xj)
(2)极大化
然后，就要对 α 和 μ 进行极大化。
因为上面极小化的结果中只有 α 而没有 μ，所以现在只需要极大化 α 就好：
maxα,μminw,b,ξL(w,b,ξ,α,μ)=maxα(∑mi=1αi−12∑mi=1∑mj=1αiαjyiyj(xi⋅xj))
s.t.∑mi=1αiyi=0;C−αi−μi=0;αi⩾0;μi⩾0;i=1,2,...,m
****3. SMO 算法求解对偶问题****
我们将上面极大化目标约束条件中的 μ 用 α 替换掉，并将极大化目标求负转为极小化问题，得到：
maxα(∑mi=1αi−12∑mi=1∑mj=1αiαjyiyj(xi⋅xj))=min(12∑mi=1∑mj=1αiαjyiyj(xi⋅xj)−∑mi=1αi)
s.t.∑mi=1αiyi=0;0⩽αi⩽C;i=1,2,...,m
我们对照一下上一篇线性可分 SVM 最优化过程中步骤3的结果，不难发现，两者的极小化目标是一样的，所不同的就是约束条件而已。
所以，在上一篇我们用到的 SMO 算法，同样可以用于此处。运用 SMO 求解出拉格朗日乘子 α1,α2,…,αm。
****4. 根据拉格朗日乘子与主问题参数的关系求解分隔超平面和决策函数****
由 w=∑mi=1αiyixi 求出 w。
因为最终要求得的超平面满足 wx+b=0，这一点是和线性可分 SVM 的超平面一样的，因此求解 b 的过程也可以照搬：
b=1|S|∑s∈S(ys−wxs)
其中 S 是支持向量的集合。
线性 SVM 的支持向量
这里有个问题，到底哪些样本算是线性 SVM 的支持向量？
对于线性可分 SVM，支持向量本身是很明确的，就是那些落在最大分隔超平面两侧的两个辅助超平面上的样本。因为样本线性可分，所以这两个辅助超平面中间的硬间隔里，是没有任何样本存在的。
但是，对于线性 SVM，有些不同，这两个辅助超平面中间是软间隔，软间隔的区域内也存在若干样本。这些样本是和辅助超平面上的样本一样算作支持向量呢？还是不算作支持向量？
比如下图中的 sampleA 和 sampleB，前者还好，只是“分得不够清楚”， 后者根本就“跨界”到了“对方的地盘”。它们两个到底算不算支持向量呢？
我们先来看看线性 SVM（又名软间隔 SVM）主问题拉格朗日函数的 KKT 条件：
αi⩾0,μi⩾0
yif(xi)–1+ξi⩾0
αi(yif(xi)–1+ξi)=0
ξi⩾0
μiξi=0
其中 f(x)=wx+b,i=1,2,…,m
对于任意样本 (xi,yi)，要么 αi=0， 要么 yif(xi)–1+ξi=0。
我们又知道 w 的计算公式为：
w=∑mi=1αiyixi
其中拉格朗日乘子为0（即 αi=0）的项，对于 w 的值是没有影响的，能够影响 w 的，一定是对应拉格朗日乘子大于0的样本。
根据 KKT 条件，这样的样本一定同时满足 yif(xi)–1+ξi=0，也就是 yif(xi)=1–ξi。所有这样的样本，都是线性 SVM 的支持向量。
在满足 yif(xi)=1–ξi 的前提之下，我们来看 ξi。
若 ξi=0, 则 yif(xi)=1，此时，样本正好落在两个辅助超平面上。所以，两个辅助超平面上的样本，肯定是支持向量。
若 ξi≠0：
当 ξi⩽1 时（例如上图中的 ξA），1−ξi>0， yif(xi)>0。也就是说 yi 和 f(xi) 的结果相乘虽然不为1，但至少这个样本还没有被归错类。
当 ξi>1时（例如上图中的 ξB），1−ξi<0，则 yif(xi)<0，这时，样本根本就被归错了类。但是，即使如此，毕竟这样的样本也影响了最终 w 的取值，所以，它也是支持向量。
