基础统计学(2) 集中趋势和分散度的测量

1.04 Mode, median and mean

mode(众数):

集合中数量出现最多的数,一般用于用于定类变量和定序变量测量

一个集合中可能会有多个众数

median(中位数):

数量为奇数的集合中的元素顺序排列,排在中间的数;

3,3,4,5,6,8,9
以上集合的中位数为5

数量为偶数的集合中的元素顺序排列,排在中间的2个数的和除以2

3,3,4,5,6,8 
以上集合的中位数为 (4+5)/2=4.5

mean(平均数):
\overline x = \frac {\sum x} {n}
什么时候用哪种方法来测量集合的集中趋势呢? 根据测量级别

分类变量:

使用mode(众数)

定量变量:

使用median(中位数)或mean(平均数).

如果集合中有影响数值的异常值(特别大或特别小),或者是偏态分布,使用median(中位数)

其他时候用平均数

1.05 Range, interquartile range and box plot

这些指标是用来测量数据离散情况

range(范围误差): 最大值(max) - 最小值(min)

interquartile(四分距): IQR = Q3-Q1

IQR.jpg

上图是从基础统计学授课视频中截取出来的

其中Q2是集合的中位数,Q1是Q2左边数据集合的中位数,Q3是Q2右边数据集合的中位数

IQR(四分距)的值 = Q3-Q1的值

这里还涉及到异常值的计算,小于某值的数据(特别小的数据),大于某值的数据(特别大的数据)

小值的临界点 Q1 - 1.5*(IQR) , 小于该值的数被当做异常值(统计时忽略)

大值的临界点Q3 + 1.5*(IQR), 大于该值的数被当做异常值(统计时忽略)

box plot(箱型图):

箱型图很好的描述了数据的集中性、离散度以及异常值

BoxPlot.jpg
  • 中间的箱体表示IQR(四分距),箱体中的线表示中位数
  • 两边的须表示异常值的上下两端(数据能达到的范围)
  • 须的下端为比Q1-1.5IQR大的最小值,上例中位0
  • 须的上端为比Q1+1.5IQR小的最大值,上例中位27.7

1.06 Variance and standard deviation(方差和标准差)

Variance(方差):
S^2 = \frac {\displaystyle \sum(x - \overline x)^2} {n-1}
Standard deviation(标准差): 表示数据与平均值的平均距离
S = \sqrt {\frac {\displaystyle \sum(x - \overline x)^2} {n-1} }
方差和标准差同样是用来测量数据的可变度的,他们数值越大,离散度、变化度就越大。

1.07 Z-scores(Z分数)

某个数与平均数的差有多少个标准差就是这个数的Z分数(Z-scores)
Z = \frac {x - \overline x} {s}

s 为标准差

集合中所有数据的Z-scores之和为0

贝尔曲线(正态)分布图:

bell_distrubution.jpg

上图特征:

  • 1个标准差(Z-scores=1)范围内的数值占比68%
  • 2个标准差(Z-scores=2)范围内的数值占比95%
  • 3个标准差(Z-scores=3)范围内的数值占比99%

若向右倾斜(右侧大量异常数据),或左倾斜(左侧大量异常数据)分布图满足以下特点

  • 2个标准差(Z-scores=2)范围内的数值占比至少75%
  • 3个标准差(Z-scores=3)范围内的数值占比89%

Z-score是对变量的一种标准化。让我们很容易地观察一个数据是普遍的还是异常的.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,951评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,606评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,601评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,478评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,565评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,587评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,590评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,337评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,785评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,096评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,273评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,935评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,578评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,199评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,440评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,163评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,133评论 2 352

推荐阅读更多精彩内容