作者：CHEONG
研究方向：机器学习与知识图谱
公众号：AI机器学习与知识图谱
原创不易，转载请告知并注明出处！
一、基本概念
机器学习中的问题说到底都是转化为求目标函数的最优解问题，而MLE和MAP便是生成目标函数基本的两种思想，也分别对应了频率派思想和贝叶斯学派的思想，下面就先简单对比一下频率派和贝叶斯派的本质区别。
在机器学习研究的对象是数据，数据是符合一定概率分布的。首先，无论对于频率派或贝叶斯派都试图在找到数据符合的概率分布，如数据集合为X，根据数据建立模型，最后求解模型参数。
1、频率派和贝叶斯派观察视角不同： 频率派从从事件本身包含信息出发，如事件A在独立重复实验中发生的频率趋向于极限p，极限p便是事件A发生的概率；贝叶斯学派则是从观察该事件的观察者角度出发，同一个事件对于知情者而言是确定事件，对于不知情者而言则是随机事件，随机性并不取决于事件本身而是取决于观察者对事件的知识状态，因此贝叶斯学派中引入了先验概率和后验概率。
2、频率派，MLE最大似然估计：频率派认为是未知的常量，X是随机变量，MLE最大似然估计求解参数
，最大似然估计和对数最大似然估计求解参数
：
3、贝叶斯派，MAP最大后验估计：贝叶斯派认为是符合一定分布随机变量，X也是随机变量，我们需要先求解先验p(
)，MAP最大后验估计，贝叶斯通过最大后验概率求解问题
4、总结：本质上MLE是根据样本数据直接计算概率参数，而MAP是预设一个参数的概率分布，然后通过样本数据去进行修正。在对以上两种方法进行选择使用时，如果样本量不够大的时候，MAP更加符合实际情况，如一枚硬币抛五次，都是正面朝上。使用MLE算出就是这个硬币正面朝上概率为100%，而MAP使用先验概率50%进行计算算出的概率是51%，更符合实际情况。如果样本足够大时两种方法便相似了。同时MAP存在一个缺点便是较为依赖合理的先验概率，如果先验概率是有问题的那结果也会受到影响。
二、学习资料
1、书籍资料
(1) 李航老师 统计学习方法
(2) 周志华老师 西瓜书
(3) 深度学习(Deep Learning)
(4) PRML Pattern Recognition and Machine Learning 模式识别与机器学习
(5) MLAPP 从概率学的角度看机器学习
(5) ESL The Elements of Statistical Learning 统计学习基础
2、视频资料
(1) 吴恩达老师 CS229课程
(2) 台湾大学林轩田老师 机器学习基石、机器学习技法
(3) 张志华老师 统计机器学习、机器学习导论
(4) 台湾大学李宏毅老师 机器学习(2017)、MLDS(2018)
(5) 徐亦达老师 概率机器学习
