概率论与数理统计 第七章 参数估计

课前导读

参数估计的两种形式:点估计和区间估计


第一节 点估计

点估计问题:设总体X的分布形式已知,但它的一个或多个参数未知,借助于总体X的一个样本来估计总体未知参数值的问题称为参数的点估计问题。

构造统计量\hat{\theta}常用的方法有两种:矩估计法和极大似然估计法。

一、矩估计

矩估计的思想就是替换思想:用样本原点矩替换总体原点矩。



矩估计可能不唯一,这是矩估计的一个缺点。通常尽量采用较低阶的矩给出未知参数的估计。

有时我们需要求解的并不是分布中的位置参数,二十它们的函数。所以还是采用替换原理,用样本原点矩的函数去替换相应的总体原点矩的函数

定理:均值、方差、标准差的矩估计结果

矩估计是一种经典的估计方法,比较直观,计算简单。不需要知道总体分布类型就可以估计,实际应用广泛。


极大似然估计

极大似然估计是求总体未知参数的另一种常用的点估计方法。

理解极大似然估计基本思想的例子:对未知参数p的极大似然推断,在p的所有备选取值假定下,比较样本发生的概率大小,使概率最大的p的取值即为p的极大似然估计。

似然函数


似然函数极大似然的定义:

L(\theta)是可微函数时,求导是求极大似然估计最常用的方法。而此时又因L(\theta)lnL(\theta)在同一个\theta处取到极值,且对对数似然函数求导更简单。故常用以下对数似然方程(组):

正态分布的极大似然估计





极大似然估计的不变性:如果\hat \theta\theta的极大似然估计,则对任一函数g(\theta),满足当\theta \in \Theta时,具有单值反函数,则其极大似然估计为g(\hat \theta)

直接观察法:不好求导,直接看出来。


求解总体未知参数\theta的极大似然估计的一般步骤:

第二节 点估计的优良性评判标准

评判一个估计量的好坏不能一概而论,即一个估计量的优劣不是绝对的,而是基于某一评判标准而言相对的评价结论。
下文中介绍三种常用的评判标准:无偏性、有效性和相合性。

一、无偏性

无偏估计有偏估计以及渐近无偏估计的定义:


估计量的无偏性是指:由估计量得到的估计值相对于未知参数真值来说,取某些样本观测值时偏大,取另一些样本观测值时偏小。反复将这个估计量使用多次,就平均来说其偏差为0。如果估计量不具有无偏性,则无论使用多少次,其平均值也与真值有一定距离,这个距离就是系统误差了。

定理1 样本方差是无偏估计的。

二、有效性

一个位置参数的无偏估计可以有很多,如何在无偏估计中再进行选择?由于无偏估计的标准差是平均偏差为0,所以一个自然的想法就是每一次估计与真值的偏差波动越小越好。偏差波动大小可以用方差来衡量。因此用无偏估计的方差大小作为进一步衡量无偏估计优劣的标准。
有效性的定义:

三、相合性

点估计是样本的函数,故点估计仍然是一个随机变量,在样本量一定的条件下,不可能要求它完全等同于未知参数的真值。但如果随着样本量不断增大,它能越来越接近真值。控制在真值附近的强度(概率)越来越大,那么这就是一个好的估计,这一性质称为相合性。

相合性定义:


相合性被视为对估计的一个很基本的要求,若一个估计量不能把被估参数估计到任意指定的精度内,那么这个估计是不好的。通常不满足相合性的估计不予考虑。

样本均值\overline{X}是总体\mu的相合估计,样本方差S^2S_n^2都是\sigma^2的想和估计量。事实上,根据大数定律,矩估计一般都具有相合性。

第三节 区间估计

参数的点估计是用样本观测值算出一个值取估计位置参数。但事实上,指数的真值可能偏差较大,若能给出一个估计区间,让我们有较大把握相信真值被含在这个区间内,这样估计就显得更有使用价值,也更为可信,因为我们把可能出现的偏差也考虑在内了。

置信水平的直观解释:


在实际问题中,有时只对未知参数\theta的上限(或下限)感兴趣。

单侧置信区间,置信上限(下限):


在双侧置信区间求解时,常使得左右两个尾部的概率各为\alpha /2的方法来选择a和b。这样得到的置信区间称为等尾置信区间。

第四节 单正态总体下未知参数的置信区间

一、均值的置信区间

首先,\overline X\mu的无偏估计。



二、方差的置信区间

(1) 当\mu已知时,\sigma^2的置信区间


(2) 当\mu未知时,\sigma^2的置信区间

关于单正态总体中均值\mu和方差\sigma^2的双侧置信水平为1-\alpha的置信区间可汇总如下表:

第五节 两个正态总体下未知参数的置信空间

一、均值差的置信区间

(1) 当\sigma_1^2,\sigma_2^2已知时,\mu_1-\mu2的置信区间

(2) 当\sigma_1^2=\sigma_2^2=\sigma^2时,\mu_1-\mu_2的置信区间

二、方差比的置信区间

(1) 当\mu_1,\mu_2已知时,\frac{\sigma_1^2}{\sigma_2^2}的置信区间

(2) 当\mu_1,\mu_2未知时,\frac{\sigma_1^2}{\sigma_2^2}的置信区间

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,284评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,115评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,614评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,671评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,699评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,562评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,309评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,223评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,668评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,859评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,981评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,705评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,310评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,904评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,023评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,146评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,933评论 2 355

推荐阅读更多精彩内容