三.探索鸢尾花数据集:分类、降维、聚类

首先需要了解的一点:分类问题属于有监督学习;降维和聚类属于无监督学习类型。

有监督学习实例:鸢尾花数据分类

我们使用简单的高斯朴素贝叶斯方法完成这个分类任务,该方法假设每个特征中属于每一类的观测值都符合高斯分布。

首先划分训练集和测试集:train set和test set。

如上图,具体每一步含义见程序注释。

最终预测结果高达97%,说明这个简单的分类算法可以有效的学习这个数据集。

无监督学习:鸢尾花降维

降维任务是要找到一个可以保留数据本质特征的低维矩阵来表示高维数据。降维可以用来辅助数据可视化的工作。

下面使用主成分分析法PCA把四维鸢尾花数据降为二维数据。

接下来将二位数据插入到鸢尾花的DataFrame中,然后画出结果图。

插入后DataFrame数据形式此时形式如下:

Implot拟合不同模型

(1.1)lmplot默认参数线性拟合

(1.2)lmplot的order参数,设置高阶拟合

(1.3)lmplot的robust参数,设置抗噪声鲁棒性

(1.4)lmplot的logistic参数,设置拟合曲线是logistic(二类分类模型)

(1.5)col:根据所指定属性在列上分类

(1.6)row:根据所指定属性在行上分类

(1.7)fit_reg 表示回归的直线要不要画出来

从二维数据图可以看到,虽然PCA算法不知道数据标签,但是仍然将鸢尾花类别清楚的分类出来!

无监督学习示例:鸢尾花数据聚类

我们使用一个强大的聚类方法——高斯混合模型(GMM)。GMM模型试图将数据构造成若干服从高斯分布的概率密度函数簇。

我们通过上一步PCA将数据降维到平面,接下来使用聚类算法将以上3个类别的鸢尾花分为3个簇。

GMM参数:

# 1. n_components:混合高斯模型个数,默认为1

# 2. covariance_type:协方差类型,包括{‘full’,‘tied’, ‘diag’, ‘spherical’}四种,分别对应完全协方差矩阵(元素都不为零),相同的完全协方差矩阵(HMM会用到),对角协方差矩阵(非对角为零,对角不为零),球面协方差矩阵(非对角为零,对角完全相同,球面特性),默认‘full’ 完全协方差矩阵

# 3. tol:EM迭代停止阈值,默认为1e-3.

# 4. reg_covar:协方差对角非负正则化,保证协方差矩阵均为正,默认为0

# 5. max_iter:最大迭代次数,默认100

# 6. n_init:初始化次数,用于产生最佳初始参数,默认为1

以上输出预测的簇标签。

接下来根据簇数量对数据进行分割,就会清晰的看到GMM的训练效果。

其中的第一类cluster=0被完美的分割出来,唯一遗憾的是cluster=2有些许的混淆。

我们将fit_reg设置为True,可以看到回归直线:

即使不知道鸢尾花的类别,但是我们仍旧通过以上简单的聚类算法自动的识别出了不同类别的花!

这种算法还可以帮助我们探索观察不同样本之间的关联性。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,496评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,407评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,632评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,180评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,198评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,165评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,052评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,910评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,324评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,542评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,711评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,424评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,017评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,668评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,823评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,722评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,611评论 2 353

推荐阅读更多精彩内容

  • 首页 资讯 文章 资源 小组 相亲 登录 注册 首页 最新文章 IT 职场 前端 后端 移动端 数据库 运维 其他...
    Helen_Cat阅读 3,869评论 1 10
  • https://developers.google.com/machine-learning/crash-cour...
    iOSDevLog阅读 2,660评论 1 11
  • 小小的轮子划过地板发出急促的声音,十几个人的脚步声混杂着匆忙。“让让,让让……”推车的人不停地发着短促的音节。“砰...
    Zover阅读 497评论 0 0
  • 七月过去了,做一下总结。 1:做了22天精美早餐 2:记录晚餐15天 3:每天写博客,写新浪博客31篇,发微信31...
    心境如花阅读 218评论 0 0
  • 看到很多人要么不吃早餐,要么因为睡懒觉赶急上班,就潦草的随便吃点点食物,比喻仅仅吃些面食,喝点点稀饭,以为这样很简...
    春花秋诗阅读 1,200评论 2 25