小马哥课堂-统计学-无偏估计

定义引入

以之前的200,000苹果的重量为例，200,000苹果(或者更多)的重量都统计出来，不太现实。但我们可以先随机抽取100个苹果(作为一个样本)，统计这100个苹果的平均重量，记为 $\overline X_1$ 。如果只是把 $\overline X_1$ 作为总体的平均值，肯定是不准确的，因为再次随机抽取100个苹果，计算出的重量的平均值和 $\overline X_1$ 肯定就不一样了。那么，为了使统计结果更加准确，我们需要反复抽取多次，然后分别计算出每个样本的平均值，分别记为: $\overline X_1,\overline X_2, \overline X_3，\cdots \overline X_k$ ，接着把这些数据再做平均，记为: $E(\overline X)$ 。那么，随着反复抽样次数的增多， $E(\overline X)$ 会趋于总体期望。如果 $E(\overline X)=\mu$ 成立，那么 $E(\overline X)$ 就是总体期望 $\mu$ 的无偏估计。

定义

无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。

In statistics, the bias (or bias function) of an estimator is the difference between this estimator's expected value and the true value of the parameter being estimated. An estimator or decision rule with zero bias is called unbiased. Otherwise the estimator is said to be biased.

样本方差无偏性的证明

总体期望: $\mu$

总体方差: $Var(x)=\sigma^2=\frac{1}{n} \cdot \displaystyle\sum_{i=1}^n (x_i-\mu)^2$

样本均值: $\overline x=\frac{1}{n} \cdot \displaystyle\sum_{i=1}^n x_i$

样本方差: $S^2=\frac{1}{n-1}\cdot \displaystyle\sum_{i=1}^n (x_i-\overline x)^2$

为什么要除以n-1, 才使得样本方差是总体方差的无偏估计？为什么除以n,样本方差比总体方差的值偏小？为什么要调大样本方差是除以n-1，而不是n-2，n-3或者其他数？

假设，样本方差定义为: $S^2=\frac{1}{n}\cdot \displaystyle\sum_{i=1}^n (x_i-\overline x)^2$ ，根据无偏估计的定义: $E(S^2)=\sigma^2$ ，那么

$\begin{array}{rcl} E[S^2]&=&E[\frac{1}{n}\cdot \displaystyle\sum_{i=1}^n (x_i-\overline x)^2] \\ &=&E[\frac{1}{n}\cdot \displaystyle\sum_{i=1}^n [(x_i-\mu)+(\mu-\overline x)]^2] \\ &=& E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n [(x_i-\mu)^2+2(x_i-\mu)(\mu-\overline x)+(\mu-\overline x)^2]] \\&=& E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]+E[\frac{2}{n} \cdot \displaystyle\sum_{i=1}^n(x_i-\mu)(\mu-\overline x)] + E[\frac{1}{n}\cdot\sum_{i=1}^n(\mu-\overline x)^2] \qquad (1)\\ &=& E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]+ \end{array}$

$\begin{array}{rcl} \frac{2}{n}\cdot\displaystyle\sum_{i=1}^n(x_i-\mu)(\mu-\overline x) &=&\frac{2}{n}\cdot(\mu-\overline x)\cdot\displaystyle\sum_{i=1}^n(x_i-\mu) \\ &=&2\cdot(\mu-\overline x)\cdot \frac{1}{n}\displaystyle\sum_{i=1}^n(x_i-\mu) \qquad (\overline x=\frac{1}{n} \cdot \displaystyle\sum_{i=1}^n x_i) \\&=&2\cdot(\mu-\overline x)\cdot(\overline x-\mu) \end{array}$

$\begin{array}{rcl} E[S^2]&=&E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]+E[\frac{2}{n} \cdot \displaystyle\sum_{i=1}^n(x_i-\mu)(\mu-\overline x)] + E[\frac{1}{n}\cdot\sum_{i=1}^n(\mu-\overline x)^2] \qquad (1)\\ &=& E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]-E[2(\overline x - \mu)^2] + E[(\mu-\overline x)^2] \qquad \text{,根据期望的性质E[C]=C} \\ &=&E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2] - E[(\mu-\overline x)^2] \qquad (2)\end{array}$

根据总体方差的定义: $Var(x)=\sigma^2=\frac{1}{n} \cdot \displaystyle\sum_{i=1}^n (x_i-\mu)^2$
总体x服从 $N(\mu,\sigma^2)$
样本均值 $\overline x$ 的抽样分布服从 $N(\mu, \frac{\sigma^2}{n})$ ,那么 $E[S^2]=E[\sigma^2]-E[(\mu-\overline x)^2]= \sigma^2-\frac{\sigma^2}{n}=\frac{n-1}{n}\cdot\sigma^2<\sigma^2$
所以当样本方差的分母是n时,样本方差总小于总体方差。如果我们将分母n替换为n-1,似乎就是无偏估计了，那么，到底是不是这样呢，下面再推导一遍：

我们知道，样本方差: $S^2=\frac{1}{n-1}\cdot \displaystyle\sum_{i=1}^n (x_i-\overline x)^2$

$\begin{array}{rcl} E[S^2]&=&E[\frac{1}{n-1}\cdot \displaystyle\sum_{i=1}^n (x_i-\overline x)^2] \\ &=&E[\frac{1}{n-1}\cdot \displaystyle\sum_{i=1}^n [(x_i-\mu)+(\mu-\overline x)]^2] \\ &=& E[\frac{1}{n-1}\cdot\displaystyle\sum_{i=1}^n [(x_i-\mu)^2+2(x_i-\mu)(\mu-\overline x)+(\mu-\overline x)^2]] \\&=& E[\frac{1}{n-1}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]+E[\frac{2}{n-1} \cdot \displaystyle\sum_{i=1}^n(x_i-\mu)(\mu-\overline x)] + E[\frac{1}{n-1}\cdot\sum_{i=1}^n(\mu-\overline x)^2] \qquad (3)\\ &=& \end{array}$

$\begin{array}{rcl} \frac{2}{n-1}\cdot\displaystyle\sum_{i=1}^n(x_i-\mu)(\mu-\overline x) &=&\frac{2}{n-1}\cdot(\mu-\overline x)\cdot\displaystyle\sum_{i=1}^n(x_i-\mu) \\ &=&\frac{2}{n-1}\cdot(\mu-\overline x)\cdot \frac{n}{n}\displaystyle\sum_{i=1}^n(x_i-\mu) \qquad (\overline x=\frac{1}{n} \cdot \displaystyle\sum_{i=1}^n x_i) \\&=&\frac{2n}{n-1}\cdot(\mu-\overline x)\cdot(\overline x-\mu) \end{array}$

$\begin{array}{rcl} E[S^2]&=&E[\frac{1}{n-1}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]+E[\frac{2n}{n-1} \cdot \displaystyle\sum_{i=1}^n(x_i-\mu)(\mu-\overline x)] + E[\frac{1}{n-1}\cdot\sum_{i=1}^n(\mu-\overline x)^2] \qquad (1)\\ &=& E[\frac{1}{n-1}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]-\frac{2n}{n-1}E[(\overline x - \mu)^2] + \frac{n}{n-1}E[(\mu-\overline x)^2] \qquad \text{,根据期望的性质E[C]=C} \\ &=&\frac{n}{n-1}\cdot E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2] -\frac{n}{n-1} E[(\mu-\overline x)^2] \qquad \\&=&\frac{n}{n-1}\cdot\sigma^2-\frac{n}{n-1}\cdot\frac{\sigma^2}{n} \\ &=&\frac{n-1}{n-1}\cdot\sigma^2\end{array}$

所以呢, $E[S^2]=\sigma^2$ , $S^2=\frac{1}{n-1}\cdot \displaystyle\sum_{i=1}^n (x_i-\overline x)^2$ 是总体方差的无偏估计。

贝塞尔校正(Bessel's correction)

通常， $\frac{1}{n-1}$ 称为贝塞尔校正系数。有的文献上也将 $\frac{n}{n-1}$ 也称为贝塞尔校正系数

In statistics, Bessel's correction is the use of n − 1 instead of n in the formula for the sample variance and sample standard deviation, where n is the number of observations in a sample.This method corrects the bias in the estimation of the population variance. It also partially corrects the bias in the estimation of the population standard deviation.

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 205,724评论 6赞 479
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 88,104评论 2赞 382
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 152,142评论 0赞 341
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 55,086评论 1赞 278
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 64,076评论 5赞 370
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,914评论 1赞 283
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,220评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,871评论 0赞 259
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 43,318评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,834评论 2赞 323
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,951评论 1赞 333
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,574评论 4赞 322
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,162评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,162评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,383评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,349评论 2赞 352
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,652评论 2赞 343

小马哥课堂-统计学-无偏估计

定义引入

定义

样本方差无偏性的证明

贝塞尔校正(Bessel's correction)

推荐阅读更多精彩内容