核函数 拉格朗日 高维空间是个灾难 用线性的思维去解决非线性的问题（通过引用核函数）。俄罗斯人Vapnik。
径向基函数相当于无限阶的多项式， sigm选择几？核的选择靠经验。
总结：
SVM的思想是要求分类线不但能将两类无措无地分开，而且要求两类的分类间隙最大。
在很多实际的分类能力问题中，搞推广能力，比如文本分类，基因数据分类！
在线性不可分的时候，引入核函数，核的选择对结果有很大的影响，但是核的选择没有统一的方法，大多靠经验。
1. 要解决的问题
越胖越好，
2.求解目标
点到线的距离，点到超平面的距离：
为什么说W 垂直于超平面啊？
一个法向量除以它的模等于它的单位方向，一个距离x-x’， 两者相乘得到映射的距离。如图所示：
看到w和超平面上的向量相乘等于0，因此w垂直于超平面。
求解点到平面的距离 distance。
然后，为了能推导正确，Y 乘以它的预测值都是大于零的。
想找到一个线（w和b），使得理该线最近的点能够最远argmax(w,b)使得min（最近的点到该线的距离）。
为了打开绝对值，使用上面的定义，相乘后，得到的距离的公式：
- 先找最小值（找最近的样本），然后求最大，找到使什么样的w，能够使样本点与平面距离最大。求w和b.
-
对于线（w, b）可以通过放缩使得其结果值|Y|>=1
把求最大值转换成求最小值，且有条件的（大于1）。
-
拉格朗日乘子法标准格式：
使用拉格朗日求解:
- 变换成这样的问题：利用对偶为题求值，最大值里面的最小值一定比最小值里面的最大值大吧，先求最小值里面的最大值。
-
求最小值，对w 和 b 求偏导（目标函数），得到一个式子。
带入目标函数得到，由于没有得到b,但是得到一个公式是零，带入即可。
-
下一步求最大值：对右边的公式的最大值：
我们转换一下能不能求最小值啊，但是也有条件，拉格朗日再带的条件。
举例说明：
-
求导得到参数，但是参数必须满足条件，如果不满足怎么办？最终的解应该在边界上的点（要不α1等于零， 要不α2等于零），根据大于零的条件筛选，然后求出α3,。然后求得W ，然后达到一个分割超平面。
求出参数w和b 的值，最终得到超平面的方程，这里的数据是两维的。
- 支持向量机的本质，没有用到X2,因为α2等于零，他是没有用的，因此，支持向量机的支持向量是什么那？找出什么样的向量来支撑这个超平面，就是那个一只脚踏入这个“雷区”中的向量。
总结：线性的超平面已经弄完啦。
3.软间隔
如果一个点异常怎么办啊：
为了解决这个问题，引入了一个松弛因子。让它不要这么严格，目标函数也加上这个东西，让误差不要太大，最好不要出错。也引入一个C ，当它很大的时候，为了求最小值，是松弛因子很小的；当C很小。。。
加上松弛因子，变成软间隔。加拉一个对松弛因子求偏导。
核函数
你怎么把红色和蓝色切开，决策树可以切，但是叶子节点很多，就不是很好啦。
如果左边图转换成右边图，相当于从低维空间转换成高维空间可分啦，怎么办啊？
你怎么把红色和蓝色切开，决策树可以切，但是叶子节点很多，就不是很好啦。
如果左边图转换成右边图，相当于从低维空间转换成高维空间可分啦，怎么办啊？
Svm 牛逼到很多核函数可以使用，红色往上映射，蓝色往下映射。
