两个多元高斯分布之间的wasserstein 距离

Wasserstein distance

定义

  • Wasserstein distance 是在度量空间 M，定义概率分布之间距离的距离函数。
  • 定义：让 (M,d) 作为一个度量空间，每一个在 M 上的概率测度是一个Radon 测度，（具体这是什么我也不清楚）。对于 p \ge 1的情况，P_p(M) 表示对于在 M 度量空间上的 x_0，在 M 上有有限个p^{th} 距（moment）的概率测度集合 \mu，等于：
    \int _{{M}}d(x,x_{{0}})^{{p}}\,{\mathrm {d}}\mu (x)<+\infty \tag{1}

那么，对于两个分布 \mu 和 \nu 在 P_p(M) 中的p^{th}（p阶） Wasserstein距离为：
W_{{p}}(\mu ,\nu ):=\left(\inf _{{\gamma \in \Gamma (\mu ,\nu )}}\int _{{M\times M}}d(x,y)^{{p}}\,{\mathrm {d}}\gamma (x,y)\right)^{{1/p}}\tag{2}

集合 \Gamma (\mu ,\nu ) 表示在M \times M 空间上所有测度的集合，并且这些测度的边缘分布分别是 \mu 和 \nu。（又称为 \mu 和 \nu 的耦合（coupling））。

变换上式得到：
W_{{p}}(\mu ,\nu )^{{p}}=\inf {\mathbf {E}}{\big [}d(X,Y)^{{p}}{\big ]}\tag{3}

  • 注：什么是距（moments）：在数学中，力矩是对函数形状的一种特定的定量度量。定义：关于值 c 的实值连续函数 f(x) 的第 n 阶矩为：
    {\displaystyle \mu _{n}=\int _{-\infty }^{\infty }(x-c)^{n}\,f(x)\,\mathrm {d} x.}

如果 f 是一个概率密度函数，则上述积分的值称为概率分布的 n 阶矩；如果 F 是任何概率分布的累积概率分布函数，其中可能没有密度函数，随机变量为X，则概率分布的第n个矩为：
{\displaystyle \mu '_{n}=\operatorname {E} \left[X^{n}\right]=\int _{-\infty }^{\infty }x^{n}\,\mathrm {d} F(x)\,}
由此我们得到公式 (2) 到 (3) 的表示。

  • 什么是测度：测度（Measure）是一个函数，它对一个给定集合的某些子集指定一个数，这个数可以比作大小、体积、概率等等。 传统的积分是在区间上进行的，后来人们希望把积分推广到任意的集合上，就发展出测度的概念，它在数学分析和概率论有重要的地位。

Intuition and connection to optimal transport

在Wiki百科中有

Wasserstein distance between two gaussian

  • 两个多元高斯分布之间的2阶Wasserstein距离是什么，公式 (3) 中的距离函数 d 如果是欧几里得距离的话，那么两个分布之间的2阶Wasserstein距离是：

W_2(\mu;\nu):=\inf\mathbb{E}(\Vert X-Y\Vert_2^2)^{1/2}
两个多元高斯分布之间的2阶Wasserstein距离 {d:=W_2(\mathcal{N}(m_1,\Sigma_1);\mathcal{N}(m_2,\Sigma_2))} 是：

d^2=\Vert m_1-m_2\Vert_2^2 +\mathrm{Tr}(\Sigma_1+\Sigma_2-2(\Sigma_1^{1/2}\Sigma_2\Sigma_1^{1/2})^{1/2}). \ \ \ \ \ (1)

当协方差矩阵可以互换 {\Sigma_1\Sigma_2=\Sigma_2\Sigma_1},公式 (1) 退化为：
W_2(\mathcal{N}(m_1,\Sigma_1);\mathcal{N}(m_2,\Sigma_2))^2 =\Vert m_1-m_2\Vert_2^2 +\Vert\Sigma_1^{1/2}-\Sigma_2^{1/2}\Vert_{Frobenius}^2.\ \ \ \ \ (2)

  • 注：
    \mathrm{Tr}(\Sigma_1+\Sigma_2-2(\Sigma_1^{1/2}\Sigma_2\Sigma_1^{1/2})^{1/2}) = \mathrm{Tr}(\Sigma_1) + \mathrm{Tr}(\Sigma_2) + 2(\mathrm{Tr}(\Sigma_1^{1/2}\Sigma_2\Sigma_1^{1/2})^{1/2})
    当 A 与B 都是对称矩阵：\mathrm{Tr}(A^{1/2}BA^{1/2})=\mathrm{Tr}(AB)，有：
    = \mathrm{Tr}(\Sigma_1) + \mathrm{Tr}(\Sigma_2) + 2(\mathrm{Tr}(\Sigma_1\Sigma_2)^{1/2}) = \mathrm{Tr}((\Sigma_1^{1/2}-\Sigma_2^{1/2})^2)=\Vert\Sigma_1^{1/2}-\Sigma_2^{1/2}\Vert_{Frobenius}^2

代码：

def Wasserstein(mu, sigma, idx1, idx2):
    p1 = torch.sum(torch.pow((mu[idx1] - mu[idx2]),2),1)
    p2 = torch.sum(torch.pow(torch.pow(sigma[idx1],1/2) - torch.pow(sigma[idx2], 1/2),2) , 1)
    return p1+p2
  • 矩阵 Frobenius范数表示为 \langle \mathbf{A},\mathbf{B} \rangle_{\mathrm {F}}，：

{\displaystyle \langle \mathbf {A} ,\mathbf {B} \rangle _{\mathrm {F} }=\sum _{i,j}{\overline {A_{ij}}}B_{ij}\,,=\mathrm {tr} \left({\overline {\mathbf {A} ^{T}}}\mathbf {B} \right)}

上划线表示矩阵A的中每一个数共轭复数。

  • 协方差矩阵：
    • 多元高斯部分的情况：是正定矩阵。
    • 多元高斯部分的情况：考虑一个一般的对称协方差矩阵 Σ，其有D(D + 1)/2个独立的参数。对于µ，又有D个独立的参数。多以一共有D(D + 3)/2个参数。当D变大时，其独立的参数个数以D的二次方增长。只考虑 Σ 是对角阵，即 Σ = diag(σ_i^2),我们就只用关心2D个独立的参数。
  • 参考：

https://zlearning.netlify.com/computer/prml/PRMLch2dot3-gaussian-again.pdf
http://www.robots.ox.ac.uk/~davidc/pubs/tt2015_dac1.pdf
https://en.wikipedia.org/wiki/Wasserstein_metric#cite_note-1
http://djalil.chafai.net/blog/2010/04/30/wasserstein-distance-between-two-gaussians/
https://en.wikipedia.org/wiki/Wasserstein_metric#cite_note-1

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 211,743评论 6赞 492
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 90,296评论 3赞 385
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 157,285评论 0赞 348
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,485评论 1赞 283
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,581评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,821评论 1赞 290
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,960评论 3赞 408
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,719评论 0赞 266
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,186评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,516评论 2赞 327
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,650评论 1赞 340
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,329评论 4赞 330
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,936评论 3赞 313
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,757评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,991评论 1赞 266
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,370评论 2赞 360
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,527评论 2赞 349

推荐阅读更多精彩内容