变分推断EM算法

目标L：计算后验分布p(z|x)

方法：构建q(z)去近似p(z|x)

KL散度是用来衡量两个分布之间的距离，当距离=0时，表示两个分布完全一致。

$KL(q(z)||p(z|x))\geq 0$

$KL(q(z)||p(z|x))=\int q(z) \log\frac{q(z)}{p(z|x)} dz\\=\int q(z) \log q(z)dz-\int q(z)\log p(z|x) dz\\=\int q(z) \log q(z)dz-\int q(z)\log \frac{p(z,x)}{p(x)} dz\\=\int q(z) \log q(z)dz-\int q(z)\log p(z,x) dz + \int q(z)\log p(x)dz\\=\int q(z) \log q(z)dz-\int q(z)\log p(z,x) dz + \log p(x)$

$\int q(z) \log q(z)dz-\int q(z)\log p(z,x) dz + \log p(x)\geq 0$

$\log p(x)\geq \int q(z)\log p(z,x) dz - \int q(z) \log q(z)dz = ELBO$

ELBO: Evidence Lower BOund

目标极大化ELBO

假设模型有隐含变量θ,β,z，模型的参数是α,η。为了求出模型参数和对应的隐藏变量分布，EM算法需要在E步先求出隐藏变量θ,β,z的基于条件概率分布的期望，接着在M步极大化这个期望，得到更新的后验模型参数α,η。

问题是在EM算法的E步，由于θ,β,z的耦合，我们难以求出隐藏变量θ,β,z的条件概率分布，也难以求出对应的期望，需要“变分推断“来帮忙，这里所谓的变分推断，也就是在隐藏变量存在耦合的情况下，我们通过变分假设，即假设所有的隐藏变量都是通过各自的独立分布形成的，这样就去掉了隐藏变量之间的耦合关系。我们用各个独立分布形成的变分分布来模拟近似隐藏变量的条件分布，这样就可以顺利的使用EM算法了。

$q(\theta,z,\phi)=q(\theta,z,\phi|\gamma ,\mu ,\lambda )$

$ELBO=E_{q(z)}[p(z,x)]-E_{q(z)}[q(z)]$

$ELBO=E_{q(\theta,z,\phi)}[p(\theta,z,\phi,w)]-E_{q(\theta,z,\phi)}[q(\theta,z,\phi)]$

$\begin{align*} & KL(q(\theta,z,\phi)||p(\theta,z,\phi|w,\alpha,\beta))\\&=\int q(\theta,z,\phi) \log \frac {q(\theta,z,\phi)}{p(\theta,z,\phi|w)} d\theta dz d\phi\\&=\int q(\theta,z,\phi) \log q(\theta,z,\phi)d\theta dz d\phi-\int q(\theta,z,\phi) \log p(\theta,z,\phi|w) d\theta dz d\phi\\&=\int q(\theta,z,\phi) \log q(\theta,z,\phi)d\theta dz d\phi-\int q(\theta,z,\phi) \log \frac{p(\theta,z,\phi,w)}{p(w)}d\theta dz d\phi\\&=\int q(\theta,z,\phi) \log q(\theta,z,\phi)d\theta dz d\phi-\int q(\theta,z,\phi) \log p(\theta,z,\phi,w)d\theta dz d\phi+\int q(\theta,z,\phi) \log p(w)d\theta dz d\phi\\&=-(E_{q(\theta,z,\phi)}[\log p(\theta,z,\phi,w)]-E_{q(\theta,z,\phi)} [\log q(\theta,z,\phi)]) + \log p(w)\\&=-ELBO + \log p(w)\end{align*}$

故ELBO最大化，才能使得KL最小。

$\begin{align*} & ELBO\\&=E_{q(\theta,z,\phi)}[\log p(\theta|\alpha)]+E_{q(\theta,z,\phi)}[\log p(z|\theta)]+E_{q(\theta,z,\phi)}[\log p(\phi|\beta)]+E_{q(\theta,z,\phi)}[\log p(w|z,\phi)]\\&-E_{q(\theta,z,\phi)}[\log q(\theta|\gamma)]-E_{q(\theta,z,\phi)}[\log q(z|\mu)]-E_{q(\theta,z,\phi)}[\log q(\phi|\lambda )]\end{align*}$

$\begin{align*}&E_{q(\theta,z,\phi)}[\log p(\theta|\alpha)]\\&=\int q(\theta,z,\phi) \log p(\theta|\alpha) d\theta dz d\phi\\&=\int q(\theta,z,\phi) \log \frac {\Gamma(\sum_{i=1}^K \alpha_i)}{\prod_{i=1}^K \Gamma(\alpha_i)} \prod_{i=1}^K\theta_i^{\alpha_i-1}d\theta dz d\phi\\&=\int q(\theta,z,\phi) \log \Gamma(\sum_{i=1}^K \alpha_i) dz d\phi\\&-\int q(\theta,z,\phi) \log \prod_{i=1}^K \Gamma(\alpha_i) d\theta dz d\phi\\&+\int q(\theta,z,\phi) \log \prod_{i=1}^K\theta_i^{\alpha_i-1}d\theta dz d\phi\\&= \log \Gamma(\sum_{i=1}^K \alpha_i) -\log \prod_{i=1}^K \Gamma(\alpha_i)+\int q(\theta) \log \prod_{i=1}^K\theta_i^{\alpha_i-1}d\theta\\&=\log \Gamma(\sum_{i=1}^K \alpha_i) -\sum_{i=1}^K \log \Gamma(\alpha_i) + E_{q(\theta)}[\sum_{i=1}^K \log \theta_i^{\alpha_i-1}]\\&=\log \Gamma(\sum_{i=1}^K \alpha_i) -\sum_{i=1}^K \log \Gamma(\alpha_i) + \sum_{i=1}^K (\alpha_i-1)E_{q(\theta|\alpha)}[\log \theta_i]\end{align*}$

指数分布族： $p(x|\theta)=h(x)exp(\eta (\theta) \cdot T(x)-A(\theta))$

A(x)为归一化因子，主要是保证概率分布累积求和后为1

$0=\log 1=\log \int p(x|\theta) dx=\log \int h(x)exp(\eta (\theta) \cdot T(x)-A(\theta)) dx=\log \int h(x)exp(\eta (\theta) \cdot T(x)) dx - A(\theta)$

故 $A(\theta)=\log \int h(x)exp(\eta (\theta) \cdot T(x)) dx$

$\begin{align*}&\frac{d}{d \eta(\theta)} A(\theta)\\&=\frac{\int h(x) exp(\eta(\theta) \cdot T(x)) T(x) dx}{\int h(x)exp(\eta (\theta) \cdot T(x)) dx } \\&=\frac{\int h(x) exp(\eta(\theta) \cdot T(x)) T(x) dx}{exp(A(\theta))} \\&=\int h(x) exp(\eta(\theta) \cdot T(x)-A(\theta)) T(x) dx\\&=\int p(x|\theta) T(x) dx\\ &= E_{p(x|\theta)} [T(x)] \end{align*}$

$\begin{align*}&\frac{d}{d \eta(\theta_i)} A(\theta)\\&=\frac{\int h(x) exp(\eta(\theta) \cdot T(x)) T(x_i) dx}{\int h(x)exp(\eta (\theta) \cdot T(x)) dx } \\&=\frac{\int h(x) exp(\eta(\theta) \cdot T(x)) T(x_i) dx}{exp(A(\theta))} \\&=\int h(x) exp(\eta(\theta) \cdot T(x)-A(\theta)) T(x_i) dx\\&=\int p(x|\theta) T(x_i) dx\\ &= E_{p(x|\theta)} [T(x_i)] \end{align*}$

Dirichlet分布也是指数分布族

证明：

$\begin{align*}&p(\theta|\alpha)=Dir(\theta|\alpha) \\&=\frac{\Gamma(\sum_{i=1}^K\alpha_i)}{\prod_{i=1}^K \Gamma(\alpha_i)} \prod_{i=1}^K \theta_i^{\alpha_i-1} \\&=\exp(\log(\frac{\Gamma(\sum_{i=1}^K\alpha_i)}{\prod_{i=1}^K \Gamma(\alpha_i)} \prod_{i=1}^K \theta_i^{\alpha_i-1}))\\&=\exp(\log(\Gamma(\sum_{i=1}^K\alpha_i))-\log(\prod_{i=1}^K \Gamma(\alpha_i))+\log(\prod_{i=1}^K \theta_i^{\alpha_i-1}))\\&=exp(\sum_{i=1}^K (\alpha_i-1) \log \theta_i + (\log(\Gamma(\sum_{i=1}^K\alpha_i))-\log(\prod_{i=1}^K \Gamma(\alpha_i))) )\\&=exp(\sum_{i=1}^K (\alpha_i-1) \log \theta_i - (\sum_{i=1}^K \log \Gamma(\alpha_i)-\log(\Gamma(\sum_{i=1}^K\alpha_i))) )\end{align*}$

其中，

$\begin{align*} &h(\theta)=1\\&\eta(\alpha_i)=\alpha_i-1\\&T(\theta_i)=\log \theta_i\\ &\eta(\alpha) \cdot T(x)=\sum_{i=1}^K \eta(\alpha_i)T(\theta_i)\\ &A(\alpha)=\sum_{i=1}^K \log \Gamma(\alpha_i)-\log(\Gamma(\sum_{i=1}^K\alpha_i))\end{align*}$

得证。

Dirichlet分布

$\begin{align*}&E_{p(\theta|\alpha)}[\log\theta_i]=E_{p(\theta|\alpha)} [T(\theta_i)] =\frac{d}{d\eta(\alpha_i)}A(\alpha)=\frac{d}{d\alpha_i}A(\alpha)\\&=\frac{d}{d\alpha_i} (\sum_{i=1}^K \log \Gamma(\alpha_i)-\log(\Gamma(\sum_{i=1}^K\alpha_i)))\\&=\frac{d}{d\alpha_i} \log \Gamma(\alpha_i) -\frac{d}{d\alpha_i} \log(\Gamma(\sum_{i=1}^K\alpha_i))\\&=\Psi (\alpha_i) - \Psi(\sum_{i=1}^K\alpha_i)\end{align*}$

Ψ是Digamma函数，即log Γ 函数的导数。

$\begin{align*}&E_{q(\theta,z,\phi)}[\log p(\theta|\alpha)] \\&=\log \Gamma(\sum_{i=1}^K \alpha_i) -\sum_{i=1}^K \log \Gamma(\alpha_i) + \sum_{i=1}^K (\alpha_i-1)E_{q(\theta,z,\phi)}[\log \theta_i] \\&=\log \Gamma(\sum_{i=1}^K \alpha_i) -\sum_{i=1}^K \log \Gamma(\alpha_i) + \sum_{i=1}^K (\alpha_i-1)E_{q(\theta)}[\log \theta_i] \\&=\log \Gamma(\sum_{i=1}^K \alpha_i) -\sum_{i=1}^K \log \Gamma(\alpha_i) + \sum_{i=1}^K (\alpha_i-1)E_{q(\theta|\gamma)}[\log \theta_i] \\&=\log \Gamma(\sum_{i=1}^K \alpha_i) -\sum_{i=1}^K \log \Gamma(\alpha_i) + \sum_{i=1}^K (\alpha_i-1) (\Psi (\gamma_i) - \Psi(\sum_{j=1}^K\gamma_j)) \end{align*}$

$\begin{align*}&E_{q(\theta,z,\phi)}[\log p(z|\theta)] \\&=E_{q(\theta,z,\phi)}[\log\prod_{i=1}^N \prod_{j=1}^K (\theta_j)^{z_i^j}] \\&=\sum_{i=1}^N \sum_{j=1}^KE_{q(\theta,z,\phi)}[\log (\theta_j)^{z_i^j}] \\&=\sum_{i=1}^N \sum_{j=1}^KE_{q(z|\mu)}[z_i^j]E_{q(\theta|\gamma)}[\log (\theta_j)] \\&=\sum_{i=1}^N \sum_{j=1}^K\mu_{ij}(\Psi (\gamma_j)-\Psi (\sum_{k=1}^K\gamma_k))\end{align*}$

$\begin{align*}&E_{q(\theta,z,\phi)}[\log p(\phi|\beta)] \\&=\int q(\theta,z,\phi) \log \prod_{k=1}^K (\frac{\Gamma(\sum_{i=1}^V \beta_i)}{\prod_{i=1}^V\Gamma(\beta_i)}\prod_{i=1}^V\phi_{ki}^{\beta_i-1})d\theta dz d\phi \\&=K\log\Gamma(\sum_{i=1}^V \beta_i)-K\sum_{i=1}^V\log\Gamma(\beta_i) + \sum_{k=1}^KE_{q(\theta,z,\phi)}[\sum_{i=1}^V(\beta_i-1)\log\phi_{ki}] \\&=K\log\Gamma(\sum_{i=1}^V \beta_i)-K\sum_{i=1}^V\log\Gamma(\beta_i) + \sum_{k=1}^K\sum_{i=1}^V(\beta_i-1)E_{q(\theta,z,\phi)}[\log\phi_{ki}] \\&=K\log\Gamma(\sum_{i=1}^V \beta_i)-K\sum_{i=1}^V\log\Gamma(\beta_i) + \sum_{k=1}^K\sum_{i=1}^V(\beta_i-1)E_{q(\phi|\lambda)}[\log\phi_{ki}] \\&=K\log\Gamma(\sum_{i=1}^V \beta_i)-K\sum_{i=1}^V\log\Gamma(\beta_i) + \sum_{k=1}^K\sum_{i=1}^V(\beta_i-1)(\Psi (\lambda_{ki}) - \Psi(\sum_{j=1}^V\lambda_{kj})) \end{align*}$

$\begin{align*}&E_{q(\theta,z,\phi)}[\log p(w|z,\phi)] \\&=\sum_{i=1}^N E_{q(\theta,z,\phi)}[\log p(w_i|z_i,\phi)] \\&=\sum_{i=1}^N\sum_{k=1}^K\sum_{j=1}^VE_{q(\theta,z,\phi)} [\log\phi_{kj}^{z_n^k w_n^j}] \\&=\sum_{i=1}^N\sum_{k=1}^K\sum_{j=1}^V \mu_{nk} w_n^jE_{q(\theta,z,\phi)} [\log\phi_{kj}] \\&=\sum_{i=1}^N\sum_{k=1}^K\sum_{j=1}^V \mu_{nk} w_n^j(\Psi(\phi_{kj})-\Psi(\sum_{v=1}^V\phi_{kv})) \end{align*}$

$E_{q(\theta,z,\phi)}[\log q(\theta|\gamma)]=\log \Gamma(\sum_{i=1}^K \gamma_i) -\sum_{i=1}^K \log \Gamma(\gamma_i) + \sum_{i=1}^K (\gamma_i-1) (\Psi (\gamma_i) - \Psi(\sum_{j=1}^K\gamma_j))$

$E_{q(\theta,z,\phi)}[\log q(z|\mu)]=\sum_{i=1}^N \sum_{j=1}^K E_{q(\theta,z,\phi)} \log (\mu_{ij})^{z_i^j}=\sum_{i=1}^N \sum_{j=1}^K E_{q(\theta,z,\phi)}[z_i^j\log (\mu_{ij})]=\sum_{i=1}^N \sum_{j=1}^K \mu_{ij}\log (\mu_{ij})$

$\begin{align*}&E_{q(\theta,z,\phi)}[\log q(\phi|\lambda )] \\&=E_{q(\theta,z,\phi)}[\log \prod_{k=1}^K q(\phi_k|\lambda_k)] \\&=\sum_{k=1}^KE_{q(\theta,z,\phi)} [\log (\frac{\Gamma(\sum_{i=1}^V \lambda_{ki})}{\prod_{i=1}^V\Gamma(\lambda_{ki})}\prod_{i=1}^V \phi_{ki}^{\lambda_{ki}-1})] \\&=\sum_{k=1}^K \log\Gamma(\sum_{i=1}^V\lambda_{ki})-\sum_{k=1}^K \sum_{i=1}^V \log \Gamma(\lambda_{ki})+\sum_{k=1}^K \sum_{i=1}^V (\lambda_{ki}-1)E_{q(\phi|\lambda)}[\log \phi_{ki}] \\&=\sum_{k=1}^K \log\Gamma(\sum_{i=1}^V\lambda_{ki})-\sum_{k=1}^K \sum_{i=1}^V \log \Gamma(\lambda_{ki})+\sum_{k=1}^K \sum_{i=1}^V (\lambda_{ki}-1)(\Psi(\lambda_{ki})-\Psi(\sum_{v=1}^V \lambda_{kv})) \end{align*}$

未完!

最后编辑于：2021.02.28 23:49:42

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 211,265评论 6赞 490
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,078评论 2赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 156,852评论 0赞 347
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,408评论 1赞 283
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,445评论 5赞 384
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,772评论 1赞 290
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,921评论 3赞 406
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,688评论 0赞 266
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,130评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,467评论 2赞 325
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,617评论 1赞 340
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,276评论 4赞 329
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,882评论 3赞 312
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,740评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,967评论 1赞 265
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,315评论 2赞 360
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,486评论 2赞 348

变分推断EM算法

推荐阅读更多精彩内容