概率论之随机变量及其概率分布

离散随机变量及其概率分布

一.随机变量

1.1随机变量

  • 随机变量:假如一个变量在数轴上的取值依赖随机现象的基本结果,则称此变量为随机变量,常用大写字母X,Y,Z等表示,其取值用小写字母想,x,y,z等表示。假如一个随机变量仅数轴上的有限个或可列个孤立点,则称此随机变量为离散随机变量。假如一个随机变量的可能取值充满数轴上的一个区间(a,b),此变量称为连续随机变量。
  • 离散随机变量常与计数过程联系在一起,而连续随机变量常与测量过程联系在一起。

1.2随机变量的概率分布

  • 分布函数:
    • 定义:设X为一个随机变量对任意实数x,事件“X<=x”的概率是x的函数,记为

F(x)=P(X \leqslant x)

​ 这个函数称为X的累计概论分布函数,简称分布函数

  • 性质:
    1. 0\leqslant F(x) \leqslant 1
    2. F(-\infty)=\lim _{x \rightarrow-\infty} F(x)=0
    3. F(+\infty)=\lim _{x \rightarrow+\infty} F(x)=1
    4. F(x)是非降函数
    5. F(x)是右连续函数

1.3概率分布的可列可加性公理

  • 若A1,A2...是一系列互不相容事件,则有

P\left(\bigcup_{n=1}^{\infty} A_{n}\right)=\sum_{n=1}^{\infty} P\left(A_{n}\right)

二.离散随机变量

2.1离散随机变量的分布列

  • 设X是离散随机变量,它的所有可能取值是x1,x2,...xn,...,假如X取xi的概率为

P\left(X=x_{i}\right)=p\left(x_{i}\right) \geqslant 0, \quad i=1,2, \cdots, n, \cdots

​ 且满足一下条件
\sum_{i=1}^{\infty} p\left(x_{i}\right)=1
​ 则称这组概率{P(xi)}为该随机变量X的分布列,或X的概率分布,

X x_1 x_2 x_3 ... x_k ...
P p_1 p_2 p_3 ... p_k ...

此外若果X是离散随机变量,已知X的分布列,容易写出X的分布函数,离散随机变量使用分布列更加方便,此外还可以使用线条图和直方图
F(x)=\sum_{x_{i} \leqslant x} p\left(x_{i}\right)

2.2离散随机变量的数学期望

  • 分赌本问题:数学期望起源于分赌本问题,十七世纪中叶,一位赌徒向法国数学家帕斯卡(1623-1662)提出一个使他苦恼长久的分赌本问题:甲乙两位赌徒相约,用掷硬币进行赌博,谁先赢三次就得到全部赌博100法郎,当甲赢了两次,乙赢了一次,他们都不愿意继续下去,问此时赌本应该如何分割?
  • 离散随机变量的数学期望:设离散随机变量X的分布列为

P=\left(X=x_{i}\right)=p\left(x_{i}\right), \quad i=1,2, \cdots, n

则X的数学期望为
E(X)=\sum_{i=1}^{n} x_{i} p\left(x_{i}\right)
若无穷级数存在,即数学期望存在,若无穷级数不收敛,即该随机变量X的数学期望不存在

2.3二项分布

  • 定义:设X为贝努力试验中成功的次数,则X的可能取值是0,1,2,3...他们取这些值的概率为

P(X=x)=\left(\begin{array}{l}{n} \\ {x}\end{array}\right) p^{x}(1-p)^{n-x}, \quad x=0,1, \cdots, n

由二项式定理可知,上述n+1个概率之和是1,这个概率分布称为二项分布,记为b(n,p),它被n(正整数)和p(p(0<p<1))确定。

  • 数学期望:

\begin{aligned} E(X) &=n p \sum_{x=1}^{n} \left( \begin{array}{c}{n-1} \\ {x-1}\end{array}\right) p^{x-1}(1-p)^{n-x} \\ &=n p \sum_{x=0}^{n} \left( \begin{array}{c}{n-1} \\ {x}\end{array}\right) p^{x}(1-p)^{n-1-x} \\ &=n p[p+(1-p)]^{n-1} \\ &=n p \end{aligned}

  • 图像:若p=0.5,有p(y)=p(n-y),意味着此种二项分布的概率直方图是对称的;当p<0.5时,称为正偏;当p>0.5时称为负偏。
    快照10.png
  • 计算困难问题:当n较大时,P(X<x)计算繁琐

2.4泊松分布

在二项分布b(n,p)中,当n很大,p很小的时候,计算复杂。

若相对的来说,n大,p小,而乘积n*p大小适中,二项公式有一个很好的近似公式,泊松定理。

  • 泊松定理:在n重贝努力试验中,以Pn表示在一次试验中成功发生的概率。且随着n增大,Pn减小。若n趋于无穷时有,
    \lambda_{n}=np_{n},\rightarrow\lambda

此时\left( \begin{array}{l}{n} \\ {x}\end{array}\right) p_{n}^{x}\left(1-p_{n}\right)^{n-x} \rightarrow \frac{\lambda^{x}}{x !} e^{-\lambda} \quad(n \rightarrow \infty)

这个式子的使用条件要求n大,p小,np适中。

快照1.png
  • 泊松分布:

P(X=x)=\frac{\lambda^{x}}{x !} e^{-\lambda}, \quad x=0,1, \cdots,其中\lambda>0

p大于0,且和为1.,记为P X \sim P(\lambda)

  • 根据泰勒展开式可得:\sum_{x=0}^{\infty} \frac{\lambda^{x}}{x !} e^{-\lambda}=e^{-\lambda} \sum_{x=0}^{\infty} \frac{\lambda^{x}}{x !}=e^{-\lambda} \cdot e^{\lambda}=1
  • 数学期望:数学期望就是泊松分布的参数

\begin{aligned} E(X) &=\sum_{x=0}^{\infty} x \cdot \frac{\lambda^{x}}{x !} e^{-\lambda} \\ &=\dot{\lambda} e^{-\lambda} \sum_{x=1}^{\infty} \frac{\lambda^{x-1}}{(x-1) !}=\lambda \end{aligned}

  • 泊松分布的使用:

    泊松分布是常用的离散随机变量之一,现实世界有许多随机变量可以直接使用泊松分布描述。例如一定时间内,电话总站接错电话的次数;一定时间内,超级商场排队等候付款的顾客人数;一定时间

    内在车站等候公共汽车的人数;100页书上的的错别字字数。可以发现泊松分布与计数过程相关,并且在一定时间内、一定区域内、一定特定单位内的前提下进行的。

2.5超几何分布

对一个有限总体进行不放回抽样常会遇到超几何分布

  • 超几何分布:

    image.png

2.6负二项分布

2.7几何分布

  • 几何分布定义:若X的概率分布满足P(X=k)=p(1-p)^{k-1},k=1,2,3,...,其中0<p<1称X服从参数为p的几何分布(Geometric),记为X~Geom(p)
  • 几何分布的用途:在重复多次的贝努力试验中,试验进行到某种结果出现第一次为止,此时的试验次数服从几何分布。例如:射击,首次击中目标时射击的次数。

三.连续随机变量

3.1连续随机变量的概率密度函数

  • 定义:p(x)是定义在整个实数轴上的一个函数,假如它满足如下两个条件:

    1. p(x) \geqslant 0(非负)
    2. \int_{-\infty}^{\infty} p(x) d x=1

    则称p(x)是概率密度函数,或密度函数,有时还简称密度

    • 对于任意两个实数ab,若a<b,且a可为-\inftyb可为+\infty,X在区间[a,b]上取值的概率为曲线p(x)在该区间上曲边梯形的面积,即P(a \leqslant X \leqslant b)=\int_{a}^{b} p(x) d x。则称密度函数p(x)是随机变量X的密度函数。
  • 例子:

    • 均匀分布:

    • 指数分布:p(x)=\left\{\begin{array}{cc}{\lambda e^{-\lambda x},} & {x \geqslant 0} \\ {0,} & {x<0}\end{array}\right.

3.2连续随机变量的分布函数

  • 定义: 连续随机变量的分布函数F(x)可以用其密度函数p(x)表示出来,即对任意实数x,
    F(x)=P(X \leqslant x)=\int_{-\infty}^{x} p(x) d x
    这些积分总是存在的,其中有些可以积出来,用初等函数表示出来,有些积不出来,只能用积分表示。

  • 性质:

    1. 连续随机变量X的分布函数F(x)是直线上的连续函数
    2. 连续随机变量X仅取一点的概率为零,P(X=x)=0
      • 在概率论中,概率为零的事件称为零概率事件,它与不可能事件有区别,不可能事件是零概率事件,零概率事件不是不可能事件。
    3. 对连续随机变量X和任意实数ab(a<b)\begin{aligned} P(a \leqslant X \leqslant b) &=P(a \leqslant X<b) \\ &=P(a<X \leqslant b)=P(a<X<b) \end{aligned}
    4. F(x)p(x)分别是连续随机变量X的分布函数与密度函数,则在F(x)导数存在的点x上有F^{\prime}(x)=p(x)
      • 对于导数不存在的点p(x)可以是任意常数,因为有限个点改变密度函数值不会影响相应的分布函数。

3.3随机变量函数的分布

  • 定理:设已知随机变量X服从函数为F_{X}(x)和密度函数为p_X(x),又设Y=g(X),其中函数g(.)是严格单调函数,且导数g'(.)存在,则Y的密度函数为p_{Y}(y)=p_{X}(h(y))\left|h^{\prime}(y)\right|

    其中h(y)y=g(x)的反函数,h'(y)是其导数。

3.4连续随机变量的数学期望

  • 设连续随机变量X有密度函数p(x),如果积分\int_{-\infty}^{\infty}|x| p(x) d x有限,则称E(X)=\int_{-\infty}^{\infty} x p(x) d xX的数学期望,简称期望,期望值或均值。如果积分无限,那么X的数学期望不存在。
  • 例子:
    • 均匀分布的数学期望:E(X)=\frac{a+b}{2}
    • 指数分布的数学期望:E(X)=\int_{-\infty}^{\infty} x p(x) d x=\int_{0}^{\infty} \lambda x e^{-\lambda x} d x\int_{0}^{\infty} e^{-\lambda x} d x=-\frac{1}{\lambda}\left.e^{-\lambda x}\right|_{0} ^{\infty}=\frac{1}{\lambda}
    • 柯西分布的数学期望:密度函数p(x)=\frac{1}{\pi\left(1+x^{2}\right)}, \quad-\infty<x<\infty\frac{1}{\pi} \int_{-\infty}^{\infty} \frac{|x|}{1+x^{2}} d x积分不存在所以数学期望不存在

3.5正态分布

  • 定义:密度函数为p(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}},}, \quad-\infty<x<\infty的分布称为正态分布,其分布函数用如下积分表示F(x)=\frac{1}{\sqrt{2 \pi} \sigma} \int_{-\infty}^{x} e^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}} d x, \quad-\infty<x<\infty,它含有两个参数\mu\sigma:-\infty<\mu<\infty, \sigma>0,记为N\left(\mu, \sigma^{2}\right)

    • 正态分布曲线是一条钟形曲线:中间高、两边低、左右对称。
    • 快照2.png
  • 应用背景:

    1. 很多现象可以使用正态分布描述或近似
      • 测量误差可以使用正态分布描述
      • 同龄人的身高体重分别是正态分布变量
      • 凡人的年输入可以近似正态分布描述
      • 一个地区的年降雨量是正态分布
      • 超级市场一周售出的鸡蛋重量是正态分布
    2. 许多分布可以用正态分布近似计算,中心极限定理表明,在一定条件下,很多随机变量的叠加都可以用正态分布近似
    3. 正态分布可以导出一些可用的分布,如统计中的三大分布:\chi^{2}分布,t分布,F分布都是从正态分布导出的。
  • 数学期望

    • X \sim N\left(\mu, \sigma^{2}\right),则E(X)=\mu

    证:在E(x)的积分表达式中作变换\boldsymbol{z}=(x-\mu) / \sigma,可得

    \begin{aligned} E(X) &=\frac{1}{\sqrt{2 \pi \sigma}} \int_{-\infty}^{\infty} x e^{-\frac{(x-\mu)}{2 \sigma^{2}}} d x \\ &=\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{\infty}(\sigma z+\mu) e^{-\tau^{2} / 2} d z \\ &=\frac{1}{\sqrt{2 \pi}}\left[\sigma \int_{-\infty}^{\infty} z e^{-x^{2} / 2} d z+\mu \int_{-\infty}^{\infty} e^{-x^{2} / 2} d z\right] =\mu\end{aligned}

    • 从这个证明中我们可以明确知道第一个参数\mu的概率含义,他就是数学期望,第二个参数是标准差(证明在下面)。数学期望是分布的中心位置,\sigma是标准差,它表示正态分布在其期望值\mu的集中和分散程度。\sigma愈小分布愈集中,正态曲线呈高而瘦;\sigma愈大,分布愈分散,正态曲线呈矮而胖。
    • 快照3.png
  • 标准正态分布

    • 期望值为0标准差为1的正态分布N(0,1)称为标准正态分布,相应的随机变量叫做标准正态分布变量。其密度函数用\phi(u)表示。分布函数用\Phi(u)表示,即

      \phi(u)=\frac{1}{\sqrt{2 \pi}} e^{-u^{2} / 2}, \quad-\infty<u<\infty
      \Phi(u)=\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{u} e^{-x^{2} / 2} d x, \quad-\infty<u<\infty

    • 对于标准正态分布,对于任意实数\mu,有\Phi(-u)=1-\Phi(u)。也可以从图像得出。

  • 正态分布的线性变换

    X \sim N\left(\mu, \sigma^{2}\right)时,U=\frac{X-\mu}{\sigma}的密度函数为p_{v}(u)=p_{X}(\mu+\sigma u) \cdot \sigma=\frac{1}{\sqrt{2 \pi}} e^{-u^{2} / 2}=\phi(u)

    这表明,当X \sim N\left(\mu, \sigma^{2}\right)时,U=(X-\mu) / \sigma是标准正态变量。上述计算结果表明,任一正态变量经过标准化之后都是标准正态变量。

  • 正态分布的计算

    1. X \sim N\left(\mu, \sigma^{2}\right),则F(a<X<b)=\Phi\left(\frac{b-\mu}{\sigma}\right)-\Phi\left(\frac{a-\mu}{o}\right)

      证明:

    P(a<X<b)
    =P\left(\frac{a-\mu}{\sigma}<U<\frac{b-\mu}{\sigma}\right)
    =p\left(U<\frac{b-\mu}{\sigma}\right)-P\left(U \leqslant \frac{a-\mu}{\sigma}\right) \\
    =\Phi\left(\frac{b-\mu}{\sigma}\right)-\Phi\left(\frac{a-\mu}{\sigma}\right)

    1. X \sim N\left(\mu, \sigma^{2}\right)

      \begin{aligned} P(|X-\mu|<k \sigma) &=\Phi(k)-\Phi(-k) \\ &=2 \Phi(k)-1 \end{aligned}

      可见正态分布X的取值位于均值/mu附近的密集程度可以用标准差\sigma为单位来度量

      快照113.png
  1. X \sim N\left(\mu, \sigma^{2}\right),若知P(X<c)=p,可知

    \Phi\left(\frac{c-\mu}{\sigma}\right)=p

    \frac{c-\mu}{\sigma}=\Phi^{-1}(p)
    c=\mu+\sigma \Phi^{-1}(p)

    因为正态分布的分布函数是一个严格增函数,所以其反函数\Phi^{-1}(x)存在。

  2. X \sim N\left(\mu, \sigma^{2}\right),若知P(|x-\mu|<c \sigma)=p,求c.

    2 \Phi(c)-1=p, \Phi(c)=(1+p) / 2
    c=\Phi^{-1}((1+p) / 2)

3.6伽玛分布

3.7贝塔分布

四.方差

4.1随机变量函数的数学期望

  • 在离散场合在连续场合E(X)=\left\{\begin{array}{l}{\sum_{i} x_{i} p(x)} 在离散场合\\ {\int_{-\infty}^{\infty} x p(x) d x} 在连续场合 \end{array}\right.

  • 设随机变量X及其函数g(X)的数学期望都存在,则有离散连续E[g(X)]=\left\{\begin{array}{l}{\sum_{i} g\left(x_{i}\right) p\left(x_{i}\right)}离散 \\ {\int_{-\infty}^{\infty} g(x) p(x) d x}连续\end{array}\right.

    证明过于繁琐,略

  • g(X)为随机变量X的函数,c为常数,则E[c g(X)]=c E[g(X)]

  • g(X)h(X)是随机变量X的两个函数,则E[g(X) \pm h(X)]=E[g(X)] \pm E[h(X)]

  • 常数c的数学期望等于c,即E(c)=c

4.2方差

  • 定义:设随机变量XE(X^2)存在,则称偏差平方的数学期望E(X-E(X))^2为随机变量X的方差,记为\operatorname{Var}(X)=E[X-E(X)]^{2},方差的正平方根称为随机变量X的标准差,记为\sigma_{X}
  • 下面以离散随机变量X的方差为例来说明方差的统计意义,\operatorname{Var}(X)=\sum_{i=1}^{\infty}\left[x_{i}-E(X)\right]^{2} p\left(x_{i}\right),如果要保持方差Var(X)较小,则和式中每一个乘积项都要很小。这将导致以下情况
    1. 偏差x_{i}-E(X)小,那么相应概率p(x_i)可以大一点
    2. 偏差x_{i}-E(X)大,那么相应概率p(x_i)必定小。
  • 方差的量纲是随机变量X量纲的平方,而标准差\sigma(X)=\sqrt{\operatorname{Var}(X)}的量纲与X的量纲相同,从而与数学期望E(x)的量纲也相同,所以X,E(x),\sigma(X)间的加减运算和比较大小就有实际意义了。如事件|X-E(X)| \leqslant k \sigma(X), \quad k=1,2,3, \cdots,表明随机变量X落在区间[E(X)-k \sigma(X), E(X)+k \sigma(X)]内的概率。

4.3方差的性质

  • c为常数,\operatorname{Var}(c)=0
  • \operatorname{Var}(a X+b)=a^{2} \operatorname{Var}(X)
  • \operatorname{Var}(X)=E\left(X^{2}\right)-[E(X)]^{2}
    • 二项分布的方差(np(1-p)
    • 均匀分布的方差((b-a)^2/12)
    • 伽玛分布的方差(\alpha / \lambda^{2})

4.4切比雪夫不等式

  • 定理:对任意随机变量X,若E(X^2)存在,则对任一正数\varepsilon ,P(|X-E X| \geqslant \varepsilon) \leqslant \frac{\operatorname{Var}(X)}{\varepsilon^{2}}.对于连续变量或离散变量都成立。

  • 证明:

    当连续时

    P(|X-E X| \geqslant \varepsilon)=\int_{|x-E X| \geq c} p(x) d x

    在此积分区域内,恒有(x-E X)^{2} / \varepsilon^{2} \geqslant 1,可以将上述积分放大

    \int_{|x-E X| \geqslant \epsilon} p(x) d x\leqslant\frac{1}{\varepsilon^{2}} \int_{|x-E X| \geqslant 0}(x-E X)^{2} p(x) d x

    最后,再将上述右端积分限扩大到整个数轴上,则有

    P(|X-E X| \geqslant \varepsilon) \leqslant \frac{1}{\varepsilon^{2}} \int_{-\infty}^{\infty}(x-E X)^{2} p(x) d x=\frac{\operatorname{Var}(X)}{\varepsilon^{2}}

  • 在切比雪夫不等式中方差是起决定作用的,若方差Var(X)较大,分布就较为分散;若方差Var(X)较小,分布就较为集中

  • \varepsilon取为k倍标准差,即\varepsilon=k \sigma(X),则切比雪夫不等式可以改写为一种常用形式P(|X-E(X)| \geqslant k \sigma(X)) \leqslant \frac{1}{k^{2}},其对立事件的概率为P(E(X)-k \sigma(X)<X<E(X)+k \sigma(X))>1-\frac{1}{k^{2}}

4.5贝努力大数定律

快照4.png

五.随机变量的其他特征数

5.1矩

5.2变异系数

5.3偏度

5.4峰度

5.5中位数

5.6分位数

5.7众数

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 207,113评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,644评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,340评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,449评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,445评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,166评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,442评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,105评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,601评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,066评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,161评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,792评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,351评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,352评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,584评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,618评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,916评论 2 344

推荐阅读更多精彩内容