姓名：黄永飞；学号：17040520006；学院：机电工程学院；
转自：
//www.greatytc.com/p/b588911dcb0e
【嵌牛导读】机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。在机器学习中，极大似估计有着巨大的用途。下面将详细介绍极大似然估计原理及应用。
【嵌牛鼻子】极点值 极大似然估计
【嵌牛提问】什么是极点值？什么是极大似然估计？
1 极大似然估计简介
极大似然估计是在总体类型已知条件下使用的一种参数估计方法 。它首先是由德国数学家高斯在1821年提出的,
然而，这个方法常归功于英国统计学家费希尔.费希尔在1922年重新发现了这一方法，并首先研究了这种方法的一些性质 。
极大似然估计的思想是：选取这样的θ̂，使得当它作为未知参数θ的估计时，观察结果出现的可能性（概率）最大！！
我们看看几个例子：
例1、某位同学与一位猎人一起外出打猎.一只野兔从前方窜过,只听一声枪响，野兔应声倒下。如果要你推测，是谁打中的呢？你会如何想呢?
你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率, 看来这一枪是猎人射中的。这个例子所作的推断已经体现了极大似然法的基本思想 .
例2、设袋中有黑白两种球，已知两种球的比例为1：99，但不知道哪种颜色的球多。
若现在从袋中任取一球，发现是白球，试估计袋中白球所占的比例。
例3、设袋中有黑、白球共4个，现有放回地抽取3次，得到2个白球，1个黑球。试问：如何估计袋中的白球数？
解：设袋中的白球数为m（待估），3次抽球中抽得白球的次数为r.v.X。
则 X ~ B (3, p=m /4),
P { X=k }=C3kpk(1-p)3-k, k =0,1,2,3。
从上图可以看出，当取中白球个数为2时，其中事件发生概率最大为m=3，即p=3/4时，所有我们有理由认为：
p̂=3/4, m̂=3。
2 极大似然估计原理
设X1, X2 ,…, Xn是取自总体 X 的一个样本，样本的联合概率密度(连续型）或联合概率函数(离散型)为 P (X1,X2,…Xn; θ) 。当给定样本的一组观测值x1, x2,…, xn时，定义似然函数为：orient/strip%7CimageView2/2/w/1240)
L(θ)看作参数θ的函数，它可作为θ将以多大可能产生样本值 x1, x2 ,…, xn 的一种度量 ，极大似然估计法就是用使L(θ)达到最大值的θ̂去估计θ。
称θ̂为θ的极大似然估计（MLE：maximum likelihood estimate）。
3 极大似然估计求解
下面为求极大似然估计(MLE)的一般步骤：
(1) 由总体分布导出样本的联合概率函数 (或联合概率密度);
(2) 把样本联合概率函数(或联合密度)中自变量看成已知常数,而把参数θ 看作自变量, 得到似然函数L(θ);
(3) 求似然函数L(θ) 的最大值点(常常转化为求ln L(θ)的最大值点) ，即θ的MLE;
(4) 在最大值点的表达式中, 用样本值代入就得参数的极大似然估计值 .
我们看一个例子：
首先确定样本的联合概率密度函数
推导出似然函数并求极值点
求解得出参数估计
作者：致Great
链接：//www.greatytc.com/p/b588911dcb0e
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
