scikit-learn--SVM(支持向量机)

SVM是一种用于分类、回归和异常值探测的有监督学习方法。

SVM的优点:在高维空间有效;在样本维度比样本数量多的情况下有效;支持向量使用了训练数据的子集,记忆有效;用途广泛:判定函数可以使用不同的核函数。

SVM的不足:特征数比样本数多很多的情况下,表现较差;不能直接给出估计概率,需要通过5折交叉验证(five-fold cross-validation).

在sklearn中,SVM支持密集矩阵(numpy.ndarray)和稀疏矩阵(scipy.sparse)作为输入。However, to use an SVM to make predictions for sparse data, it must have been fit on such data,为了得到最佳性能,使用dtype=float64的numpy.adarray 或者scipy.sparse.csr_matrix 。


分类

SVC,NuSVC和LinearSVC可以用于多类分类。

SVC和NuSVC是相似的方法,但是接受不同的参数并且有不同的数学公式;LinearSVC是有线性核的支持分类器。和其他分类器一样,SVC,NuSVC和LinearSVC的输入包括训练样本数组以及对应的标记数组。

多类分类

SVC和NuSVC使用“one-against-one”方法,如果有n类,每两类之间建立一个分类器,共需要建立 n(n-1)/2 个分类器。LinearSVC使用 "one-vs -the -rest"策略,如果有n类,将 其中n-1类归为一类,建立 n 个分类器。

小提示

1.避免数据拷贝:对于SVC、SVR、NuSVC、NuSVR,在运行前需要将数据转换为C-ordered contiguous;对于LinearSVC和LogisticRegression,任何输入都将拷贝并且转化为稀疏矩阵,如果不是用密集矩阵作为输入来做大规模的线性分类,最好使用SGDClassifier。

2.核缓存大小:对于SVC、SVR,NuSVC、NuSVR,核缓存的大小严重影响运行时间,在可能的情况下,不要使用默认设置 cache_size=200 (MB),设置为500或者1000比较好。

3.设置C值:C(惩罚因子)默认设置为1,如果有较多的异常观察值,最好降低C的值,它关系到估计的正则化。

4.标准化输入数据。

5.NuSVC、OneClassSVM、NuSVM中的参数 nu ,近似等于训练误差和支持向量的百分比,取值范围(0,1),一般取(0.1,0.8),代表样本落入间隔内的最小数目,即预测错误的比例。(The main motivation for the nu versions of SVM is that it has a has a more meaningful interpretation. This is because nu represents an upper bound on the fraction of training samples which are errors (badly predicted) and a lower bound on the fraction of samples which are support vectors. Some users feel nu is more intuitive to use than C or epsilon.)

6.在SVC中,如果是不平衡样本,设置 class_weight='balanced' 尝试用不同的C值来训练数据。

7.LinearSVC在拟合模型时随机选取了特征,这导致相同的数据会得到不同的结果,可以尝试小一点的 tol 参数;

8.LinearSVC 中使用 L1 范数将得到稀疏的结果,即只有一部分特征对判别函数有贡献;增加C的值将得到一个更加复杂的模型,因为选择了更多的特征;可以使用 sklearn.svm.l1_min_c 计算最小C值。


来源:scikit-learn.org/stable/modules/svm.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 226,913评论 6 527
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 97,710评论 3 412
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 174,561评论 0 373
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 62,278评论 1 306
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 71,080评论 6 405
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 54,604评论 1 320
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 42,698评论 3 434
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 41,847评论 0 285
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 48,361评论 1 329
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 40,330评论 3 353
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 42,487评论 1 365
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 38,044评论 5 355
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 43,738评论 3 342
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 34,134评论 0 25
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 35,378评论 1 281
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 51,053评论 3 385
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 47,471评论 2 370

推荐阅读更多精彩内容