LDA漫游系列(三)-共轭先验分布

在上一节我们一起学习了LDA中的一些数学知识,主要学习了二项分布、Beta分布、多项式分布以及狄利克雷分布,这四个分布是有一定联系的,beta分布是二项分布的共轭先验分布,狄利克雷分布是多项式分布的共轭先验分布。那什么是共轭先验分布呢?我们一起来一步步了解一下这个神秘的知识点。

1、三种信息

首先我们来介绍一下三种信息:

总体信息

即总体分布或总体所属分布族给我们的信息,譬如,总体是正态分布这一句话就给我们带来很多信息:它的密度函数是一条钟形曲线等等。总体信息是很重要的信息,但是为了获取此种信息往往耗资巨大。

样本信息

即从总体抽取的样本给我们提供的信息,人们希望通过对样本的加工或者处理对总体的某些特征作出较为精确的统计推断,没有样本就没有统计学可言。
基于上面的两种信息进行的统计推断被称为经典统计学,它的基本观点是把数据看成是来自具有一定概率分布的总体,所研究的对象是这个整体而不限于数据本身。

先验信息

即在抽样之前有关统计问题的一些信息,一般来说,先验信息主要来源于经验和历史资料。先验信息在日常生活和工作中也经常可见,不少人在自觉地活不自觉的使用它。

基于上面三种信息进行的统计推断被称为贝叶斯统计学,它与经典统计学的主要差别在于是否利用先验信息。在使用样本信息上也是有差异的。贝叶斯学派重视已出现的样本观察值,而对尚未发生的样本观察值不予考虑,贝叶斯学派很重视先验收集、挖掘和加工,使他数量化,形成先验分布,参加到统计推断中来。以提高统计推断的质量。

2、先验分布

贝叶斯学派的最基本的观点是,任何一个未知量θ,都可以看作一个随机变量,应用一个概率分布去描述θ的未知状况。这个概率分布是在抽样前就有关于θ的先验信息的概率陈述,这个概率分布被称为先验分布。
举个简单的例子,学生估计一新教师的年龄,依据学生们的生活经历,在看了新教师的照片后立即会有反应:“新教师的年龄在30-50岁之间,极有可能在40岁左右”,一位统计学家与学生们交谈,明确这句话中的“左右”可理解为岁,“极有可能”可理解为90%的把握,于是学生们对新教师年龄的认识(先验信息)可综合为下图的概率分布,这个概率分布就是所谓的先验分布:


上图中的概率0.9不是在大量重复试验中获得的,而是学生们根据自己的生活经历的积累对该事件发生可能性所给出的信念。这样给出的概率在贝叶斯统计中是允许的,并称为主观概率。贝叶斯学派认为引入主观概率以及由此确定的先验分布至少把概率与统计的研究与应用范围扩大到不能大量重复的随机现象中来。其次,主观概率的确定不是随意的,而是要求当事人对所观察的事件有比较透彻的了解和丰富的经验,甚至是这一行的专家,在这个基础上确定的主观概率就能符合实际。

3、后验分布

依赖于参数θ的密度函数在经典统计中记为p(x;θ),表示在参数空间中针对不同的θ对应不同的分布。在贝叶斯统计中记为p(x|θ),它表示在随机变量θ给定某个值时,总体指标X的条件分布。

根据参数θ的先验信息我们能确定先验分布π(θ),那么从贝叶斯观点来看,样本x=(x1,x2,....xn)的产生要分两步进行,首先设想从先验分布π(θ)产生一个样本θ,第二步时从总体分布p(x|θ)产生一个样本x=(x1,x2,....xn),这个样本是具体的,是人们可以看得到的,此样本发生的概率与如下联合密度函数成正比:



这个函数常被称为似然函数,记为L(θ')。
在上面的式子中,θ'时设想出来的,它仍是未知的,是按先验分布π(θ)而产生的,要把先验信息进行综合,不能只考虑θ',而应对θ的一切可能加以考虑,故要用π(θ)参与进一步综合,所以样本x和参数θ的联合分布为:



可以把三种可用的信息都综合进去。
接下来我们要对参数θ进行统计推断,在没有样本信息之前,人们只能根据先验分布对θ作出推断,在有样本观察值x=(x1,x2,....xn)之后,我们应该根据h(x,θ)对θ作出推断,为此我们要把h(x,θ)做如下的分解:

h(x,θ)=π(θ|x)m(x)
其中m(x)是x的边缘密度函数:



因为m(x)与θ无关,所以能用来对θ做推断的近视条件分布π(θ|x):

这就是贝叶斯公式密度函数形式,这个在样本x给定后,θ的条件分布被称为θ的后验分布,它是集中了总体、样本和先验等三种信息中有关θ的一切信息,而又是排除了一切与θ无关信息之后得到的结果。估计与后验分布π(θ|x)对θ进行统计推断更为有效,也是最合理的。

先验分布π(θ)是反映人们在抽样前对θ的认识,后验分布π(θ|x)是反映人们在抽样后对θ的认识。之间的差异是由于样本x出现后人们对θ认识的一种调整。所以后验分布π(θ|x)可以看作是人们用总体信息和样本信息对先验分布π(θ)做调整的结果。

4、共轭先验分布

考虑之前用于计算后验概率的式子:



有时我们将p(x|θ)称为似然函数,先验概率π(θ)和似然函数的乘积,然后归一化得到后验 概率 P(θ | x) 。共轭先验的定义为:如果后验概率分布和先验概率分布有相同的形式(如同为指数 族分布),则后验概率分布和先验概率分布统称共轭分布。那么先验概率π(θ)称为似然函数的共轭先验。

5、二项分布与Beta分布

上一节中我们曾经通过一个例子形象的介绍了Beta分布,在那个例子中,我们用beta分布估计了一个棒球手击中球的概率,这个beta分布可以看作是先验分布,随后我们通过实验观察棒球手的击球情况,随后更新了Beta分布的参数,这就相当于通过多次伯努利试验的方式,来对命中率进行一个合理的调整,所以二项分布可以看作是估计后验概率的似然函数。所以,通过Beta分布与二项分布的乘积,我们可以得到后验分布,如果后验分布也是Beta分布,那么就可以证明二项分布和Beta分布是共轭先验分布。接下来我们就证明一下:

由此可见,后验分布和先验分布都是beta分布,所以beta分布和二项分布是共轭先验分布。

6、多项式分布和Dirichlet分布

同样多项式分布和Dirichlet分布也是共轭先验分布:证明如下:



也就是说:


7、常见的共轭先验分布

常见的共轭先验分布有以下几种:
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,393评论 5 467
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,790评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,391评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,703评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,613评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,003评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,507评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,158评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,300评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,256评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,274评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,984评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,569评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,662评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,899评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,268评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,840评论 2 339

推荐阅读更多精彩内容