机器学习之数学基础(3)——概率论

前言:
概率论的理解有些抽象,掌握概率论的方法,用实际样本去无限接近真实,熟练掌握并且使用一些最基本的概念是前提,比如,均值,方差

  • 排列 组合

计算各种公式的基础
排列


image.png

组合


image.png
  • 古典概率

事件A
构成事件A发生的基本时间有a个
不构成事件A发生的基本事件有b个

image.png

  • 联合概率

两个事件共同发生记为P(AB)

  • 条件概率

事件A在另外一个事件B已经发生的条件下的发生概率叫做 条件概率


image.png

推论:如果n个事件同时发生


image.png
  • 全概率公式

样本空间Ω有一组事件A1、A2...An
如图:


image.png

那么对于任意事件B,全概率公式为:


image.png

又叫结果概率公式(B事件一般为结果事件)
  • 贝叶斯公式

可由条件概率公式证明

image.png

假如A1、A2...An是样本空间Ω的一个划分,如果 对任意事件B而言,有P(B)>0,那么:
image.png

又叫原因概率公式,事件B已经发生的情况下查找原因

  • 独立事件

A,B发生无关,称事件A和时间B相互独立


image.png
  • 随机变量

把前面说的事件A,B具体化,用变量和函数来表达前面说的该事件在样本空间的概率
例: 掷一颗骰子,令 X:出现的点数.
例:上午 8:00~9:00 在某路口观察,令: Y:该时间间隔内通过的汽车数. 则 Y 就是一个随机变量

  • 离散型随机变量

image.png
    1. Bernoulli分布


      image.png

      记做:


      image.png

      注意参数1为一次实验,p为发生事件的概率
  • 2)二 项 分 布
    进行n次试验发生k次的概率



    记为


    image.png
  • 3)Poisson 分布
    当n取无穷大二向分布的近似


    image.png

    其中参数取值为:


    image.png
  • 4)几 何 分 布
    在Bernoulli试验中,试验进行到A 首次出现为止


    image.png
  • 5)超 几 何 分 布
    一批产品有 N 件,其中有 M 件次品,其余 N-M 件为正品.现从中取出 n 件. 令 X:取出 n 件产品中的次品数. 则 X 的分 布律为


    image.png
  • 连续型随机变量

分布函数F(x)
概率密度函数分f(x)

  • 1) 均 匀 分 布


    image.png

    记为


    image.png
    1. 指 数 分 布
      写做:X~ E(λ),数学期望是:1/λ,方差是 1/λ^2


      image.png

      image.png
  • 3)正 态 分 布


    image.png

    一般正态函数的计算,先转化为标准正态函数

  • 期望和方差

建议同学们学完之后证明一下各个分布的期望和方差,已达到更深的理解。

  • 期望
    也就是均值(mean),是概率加权下的“平均值”,是每次可能 结果的概率乘以其结果的总和,反映的实随机变量平均取值大小。 常用符号 表示


    image.png
  • 方差
    方差是衡量数据源数据和期望均值相差的度量值。


    image.png

    常见分布的期望和方差如下:


    image.png
  • 协方差(cov)
    协方差常用于衡量两个变量的总体误差

  • 相关系数(corr)
    两个变量相关程度

  • 中心矩、原点矩
    X的数学期望E(X)是X的一阶原点矩。
    X的方差D(X)是X的二阶中心矩。
    X和Y的协方差Cov(X,Y)是X和Y的二阶混合中心矩

  • 峰度
    反应峰部的尖度

  • 偏度
    右偏还是左偏

  • 三个基本定理

  • 切比雪夫不等式 /切比雪夫定理
    设随机变量X的期望为μ,方差为σ2,对于任意的正数ε,有:


    image.png

    切比雪夫不等式的含义是:DX(方差)越小,时间{|X-μ|<ε}发生的概 率就越大,即:X取的值基本上集中在期望μ附近

  • 大数定律
    随着样本容量n的增加,样本平均数将接近于总体的平均数(期望μ),也可以直接理解为事件发生的频率接近事件的概论。

  • 中心极限定理
    当样本n充分大时,样本均值的抽样分布近似 服从均值为μ/n、方差为σ2/n 的正态分布。

  • 参数估计

参数估计是概率论的应用,就是我们怎么通过实验获得的值来估计概率函数的参数

  • 点估计
    分布函数的形式已知,参数未知
    对未知参数进行定值估计,极大似然和矩估计是点估计的一种算法
  • 矩估计
    和极大似然估计的区别是,利用大数定律中的样本均值和总体平均值一样,求出参数


    image.png
  • 极大似然估计
    注意分布函数已知,写出似然函数,求导,求出参数值
    1)离散型


    image.png

2)连续型


image.png

由于f(x)>0,f(x)取对数之后的单调性不变,所以可转化为:


image.png

你可能感冒的文章:
我的机器学习pandas篇
我的机器学习matplotlib篇
我的机器学习numpy篇

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,386评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,142评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,704评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,702评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,716评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,573评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,314评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,230评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,680评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,873评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,991评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,706评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,329评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,910评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,038评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,158评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,941评论 2 355

推荐阅读更多精彩内容