姓名：黄永飞；学号：17040520006；学院：机电工程学院；

转自：

http://blog.csdn.net/han_xiaoyang/article/details/49797143

【嵌牛导读】机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。在机器学习中，SVM这么神圣的算法可能是每个学习者会头痛却又不得不面对的，下面是SVM算法系列，进行详细讲解算法的使用和应用。

【嵌牛鼻子】SVM算法 逻辑回归 间隔 

【嵌牛提问】什么是SVM算法？其用法和原理是什么？如何让理解最大间隔？

1.支持向量机（SVM）的目标是什么

SVM的目标是利用训练数据集的间隔最大化找到一个最优分离超平面

首先和逻辑斯蒂回归和朴素贝叶斯一样，我们需要一些打标签的数据用于训练，这也就是说SVM是一个有监督学习算法。

同样，SVM是一个分类算法，和逻辑斯蒂回归和朴素贝叶斯一样，可以用于预测数据属于哪个类别。

典型的分类问题比如结果预测(比如泰坦尼克号生存结果)和垃圾邮件分类，或者下面这个简答的人群分类小例子：

上图是人的身高和体重绘制的散点图，使用支持向量机（SVM），可以尝试回答以下问题：

给定一个特定的数据点（重量和高度），这个人是一个男人还是一个女人？

例如：有人高175厘米，重80公斤，他是男人还是女人呢？

2.什么是分离超平面

在图中我们可以看出，我们是有办法可以分离这两类样本点的。例如：我们可以画一条线，使得所有的男性数据点在直线上方，所有的女性数据点在直线的下方。我们知道在逻辑斯蒂回归当中，这条直线叫做决策边界，在SVM当中我们暂且把它叫做分离超平面，大概是下图这个样子的，但是它和LR里面的决策边界有一些小小的不同，一会儿我们会提到。

如果它仅仅是一条线，我们为什么称它为一个超平面？

上面只是二维空间中的一个小例子，但事实上SVM在任意维度上均有效。

超平面是平面的一般化

在一维的平面中，它是点

在二维中，它是线

在三维中，它是面

在更高的维度中，我们可以称之为超平面

点L是一维空间下的分离超平面

什么是最优分离超平面?

OK，重点来了，刚才提到了逻辑斯蒂回归当中，有个类似的概念叫做决策边界，在SVM当中把它叫做分离超平面，事实上，你找到了一个分离超平面，但那不意味着它是最优的那个！

回到刚才的例子中，我们可以找到好几个分离超平面。他们每一个都是正确的，可以成功将数据集中的男性和女性划分两边。

但是是不是说这些分离超平面都一样好呢？

OK，咱们一起来看看，假设我们选择那个绿色的分离超平面，然后咱们用在现实生活中的数据上进行分类。

你会发现有一些女性被分错了！！直观上非常好理解，这个分类超平面太接近女性(红色样本点)了，那它对noise/异常点/临近边界的点处理得并不好。

所以大家都想到了，我么要选择这样一个超平面–尽可能的远离所有类别的数据点：

这次看起来好多了，再用刚才新加的样本点去分类，你发现这次它健壮多了，可以好好地把它们分对了。

对，这就是SVM要做的事情，支持向量机就是要找到这样一个最优分类超平面，保证：

正确地对训练数据进行分类

对未知数据也要进行很好的分类

.

所以这和Margin/间隔有什么关系呢？又怎么找到它呢

对应上图，一句话概括：Margin就是最优分离超平面的间隔。

给定一个特定的超平面，我们可以计算出这个超平面与和它最接近的数据点之间的距离。间隔（Margin）就是二倍的这个距离。

一般来说，间隔（Margin）中间是无点区域。这意味着里面不会有任何点。（注：在数据有噪声的情况下，可能达不到这么理想的状况，所以我们后面会引入软间隔分类器）

我们从刚才的分割超平面里再选一个，间隔（Margin）会看起来像这样：

可以清楚地看出，B的间隔要小于A的间隔。

我们有以下的观察结果：

如果一个超平面有非常接近的一个数据点，那么间隔会小。

如果一个超平面离数据点越远，那么间隔越大。

这意味着最优超平面将有最大的间隔。

我们后面也会看到SVM是利用间隔最大化求得最优分离超平面。

欢迎浏览SVM碎碎念part2：SVM中的向量与空间距离

————————————————

版权声明：本文为CSDN博主「寒小阳」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/han_xiaoyang/article/details/52678373