2.3.5 顺序估计

本章存疑
2.3.4讨论了高斯分布的最大似然估计，现在来讨论一个更一般的话题：最⼤似然的顺序估计。

顺序的⽅法允许每次处理⼀个数据点，然后丢弃这个点。这对于在线应⽤很重要。并且当数据集相当⼤以⾄于⼀次处理所有数据点不可⾏的情况下，顺序⽅法也很重要。

考虑均值的最大似然估计结果 $\mu_{ML}$ ，当他依赖于第 $N$ 次观察时，记作 $\mu_{ML}^{(N)}$ ，有
$\mu_{ML}^{(N)}=\frac{1}{N}\sum^N_{n=1}x_n\\=\frac{1}{N}x_N+\frac{1}{N}\sum^{N-1}_{n=1}x_n\\=\frac{1}{N}x_N+\frac{N-1}{N}\mu_{ML}^{(N-1)}\\=\mu_{ML}^{N-1}+\frac{1}{N}(x_N-\mu_{ML}^{(N-1)})$
在观测到 $N-1$ 的数据点时，我们已经得到了 $\mu_{ML}^{(N-1)}$ 了，当观测到 $x_N$ 时我们就可以得到一个修正的估计 $\mu_{ML}^{(N)}$ ，随着 $N$ 的增加，后续数据点的贡献也会变小。

以上的公式是根据高斯分布的最大似然估计公式推导得到的，为了寻找一个更加通用的顺序学习方法，这里就引出Robbins-Monro算法。

Robbins-Monro算法：考虑⼀对随机变量 $θ$ 和 $z$ ，它们由⼀个联合概率分布 $p(z, θ)$ 所控制。给出特定 $θ$ ，变量z的条件期望由以下的函数 $f(θ)$ 确定：
$f(θ) = E[z|θ]=\int zp(z|θ)dz$
这个公式看前面两部分就够了，可以理解为 $f(x)=y$ ，但是这个函数的求解要通过多次采样回归得到，意思就是当 $θ$ 为某取值的时候， $z$ 会有概率 $p(z|θ)$ 的可能取某值，这是因为有一定的噪声干扰(如下图)而导致 $f(θ)$ 不存在一个闭式解 $z$ 。

通过这种⽅式定义的函数被称为回归函数，我们的⽬标是寻找根 $θ^∗$ 使得 $f(θ^∗)=0$ 。

如果我们有观测 $z$ 和 $θ$ 的⼀个⼤数据集，那么我们可以直接对回归函数建模，得到根的⼀个估计。

如果我们每次观测到⼀个z的值，我们想找到⼀个对应的顺序估计⽅法来找到 $θ^∗$ ，解决这种问题的通用方法如下：
首先我们假定z的条件方差是有穷的：
$E[(z-f)|θ] < \infty$
同时我们也假设当 $θ>θ^*$ 时 $f(θ)>0$ ，当 $θ<θ^*$ 时 $f(θ)<0$ ，Robbins-Monro给出了一个根 $θ^*$ 顺序估计的公式

$θ^{(N)}=θ^{(N-1)}-\alpha_{N-1}z(θ^{(N-1)})\\$
这个公式给出的顺序估计确实以概率为1收敛于根

其中 $z(θ^{(N)})$ 是当 $θ$ 取值为 $θ^{(N)}$ 是 $z$ 的观测值，系数 $\alpha_N$ 表示一个满足一下条件的正数数列：

$\lim_{N\rightarrow\infty}\alpha_N=0\\ \sum_{N=1}^{\infty}\alpha_N=\infty\\ \sum_{N=1}^{\infty}\alpha_N^2<\infty\\ PS:\frac{1}{N}就是一个满足条件的正数数列$
以上三个条件： 条件一确保后续的修正幅度会变小，条件二确保算法不会收敛不到根，条件三保证累积的噪声具有一个有限的方差，收敛不会失败

现在用Robbins-Monro来顺序估计 $θ_{ML}$

根据定义（上一章），最大似然解 $θ_{ML}$ 是负对数似然函数的一个驻点，因此有
$\frac{\delta}{\delta θ}\{\frac{1}{N}\sum_{n=1}^{N}-\ln p(x_n|θ)\}|_{θ_{ML}}=0$
取 $N\rightarrow \infty$ ，有
$\lim_{N\rightarrow\infty}\frac{1}{N}\sum^{N}_{n=1}\frac{\delta}{\delta θ}\ln p(x_n|θ)=E_x[-\frac{\delta}{\delta θ}\ln p(x|θ)]$
等式右边，我们应用Robbins-Monro方法，形式为
$θ^{(N)}=θ^{(N-1)}-\alpha_{N-1}\frac{\delta}{\delta θ^{(N-1)}}[-\ln p(x_N|θ^{(N-1)})]$
$θ^{(N)}$ 就是高斯分布均值 $\mu_{ML}^{(N)}$ 的估计

随机变量 $z$ 的形式为
$z= -\frac{\delta}{\delta_{ML}}\ln p(x|\mu_{ML},\sigma^2)=-\frac{1}{\sigma^2}(x-\mu_{ML})$
$z$ 的分布是一个高斯分布，均值为 $-\frac{1}{\sigma^2}(x-\mu_{ML})$ ，如下图。

最后编辑于：2019.02.23 21:18:16

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 211,423评论 6赞 491
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,147评论 2赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 157,019评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,443评论 1赞 283
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,535评论 6赞 385
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,798评论 1赞 290
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,941评论 3赞 407
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,704评论 0赞 266
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,152评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,494评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,629评论 1赞 340
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,295评论 4赞 329
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,901评论 3赞 313
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,742评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,978评论 1赞 266
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,333评论 2赞 360
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,499评论 2赞 348

2.3.5 顺序估计

推荐阅读更多精彩内容