一个函数：
-
gamma函数
image.png
四个分布：
- 二项分布、多项分布、beta分布、Dirichlet分布
image.png
伯努利分布，n重伯努利试验得到二项分布
二项分布，增加试验结果，推广到多维度，得到多项分布
Gamma变形导出Beta分布
Beta分布是二项分布的共轭先验分布
Dirichlet分布是Beta分布在高维度上的推广
最后得到Dirirchlet-Multinomial结构 -
二项分布
二项分布是从伯努利分布推进的。伯努利分布，又称两点分布或0-1分布，是一个离散型的随机分布，其中的随机变量只有两类取值，非正即负{+，-}。而二项分布即重复n次的伯努利试验。
image.png -
多项分布
多项分布是指单次试验中的随机变量的取值不再是0-1的，而是有多种离散值可能（1,2,3...,k）。比如投掷6个面的骰子实验，N次实验结果服从K=6的多项分布。其中
image.png
多项分布的概率密度函数为：
image.png -
Beta分布
给定参数 𝛼和 𝛽 ，取值范围为[0,1]的随机变量 x 的概率密度函数
image.png
其中
image.png -
Dirichlet分布
Beta分布在高维度上的推广
Dirichlet分布密度函数：
image.png
其中
image.png -
Dirichlet分布 VS Beta分布：
对于Beta分布而言，服从该分布的随机变量，期望可以用
image.png
来估计。类似的，若
image.png
image.png
两个派别：
- 频率派
把需要推断的参数θ看做是固定的未知常数，即概率 θ虽然是未知的，但最起码是确定的一个值，同时，样本X是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X 的分布； - 贝叶斯派
而贝叶斯派的观点则截然相反，他们认为待估计的参数θ是随机变量，服从一定的分布，而样本X是固定的，由于样本是固定的，所以他们重点研究的是参数θ的分布。
两个结构：
-
贝叶斯框架
image.png - 共轭先验分布：
在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。 -
Beta-Binomial 共轭：
image.png
其中 （m1,m2）对应的是二项分布 B(m1+m2,p)的计数。针对于这种观测到的数据符合二项分布，参数的先验分布和后验分布都是Beta分布的情况，就是Beta-Binomial 共轭。
-
Dirichlet-Multinomial 共轭：
image.png
针对于这种观测到的数据符合多项分布，参数的先验分布和后验分布都是Dirichlet 分布的情况，就是Dirichlet-Multinomial 共轭。意味着，如果我们为多项分布的参数p选取的先验分布是Dirichlet分布，那么以p为参数的多项分布用贝叶斯估计得到的后验分布仍然服从Dirichlet分布。
小白学习 无关利益
感谢：
Gamma 函数 - CSDN博客
利用Gamma函数求积分的几种形式_百度文库
通俗理解LDA主题模型 - CSDN博客
LDA_gensim实现
概率语言模型及其变形系列(5)-LDA Gibbs Sampling 的JAVA实现 - CSDN博客
Jupyter Notebook Viewer
