概率论与数理统计浙大版第四章Review

前面介绍的随机变量的分布律、分布函数和概率密度函数都能完整地描述随机变量。但在某些实际问题中，更关心一些描述随机变量的常数。本章介绍这些常数。对于单个随机变量（一维随机变量或多维随机变量中的某个），有k阶原点矩和k阶中心矩。其中重点介绍的有1阶原点矩（期望）和2阶中心矩（方差）。对于二维随机变量X和Y，有k+l阶混合矩和k+l阶混合中心矩。其中重点介绍了2阶混合中心矩中的协方差。二维随机变量有4种2阶混合中心矩，组成了协方差矩阵，这是一个对称的矩阵。由此推广到n维随机变量的情况，n维随机变量的2阶混合中心矩共有 $n^2$ 个，组成的协方差矩阵，可以解决n维随机变量分布函数过于复杂不方便处理的问题。另外，由二维随机变量协方差适当变形得到的相关系数，引出了（线性）相关与独立的区别与联系的问题。本章还介绍了切比雪夫不等式，为下一章进行了铺垫。需要注意的是，本章介绍的随机变量的数字特征，是根据变量的分布得出的常数，常用来描述随机变量的某些特征或是在分布函数过于复杂的时候作简化的替代，因此对于随机变量的描述，这些数字远没有分布精确。

数学期望

数学期望是随机变量的1阶原点矩，简称期望，又称均值。它完全由随机变量的分布确定，若X服从某一分布，也称E(X)是这一分布的数学期望。

对于离散型随机变量，分布律为 $P(X=x_{k} )=p_{k}$ ，若级数 $\sum_{k=1}^∞x_{k} p_{k}$ 绝对收敛，则称该级数的和为随机变量X的期望。

对于连续性随机变量，概率密度函数为 $f(x)$ ，若积分 $\int_{-∞}^{∞} xf(x)dx$ 绝对收敛，则称该积分的值为随机变量X的期望。

存在随机变量不存在的情况，一般来说若级数或积分不绝对收敛，该随机变量不存在期望。

设Y是随机变量X的函数 $Y=g(X)$ ：

如果X是分布律为 $P(X=x_{k} )=p_{k}$ 的离散型随机变量，若 $\sum_{k=1}^∞g(x_{k}) p_{k}$ 绝对收敛，则该级数和为Y的期望。

如果X是概率密度函数为 $f(x)$ 的连续型随机变量，若 $\int_{-∞}^{∞} g(x)f(x)dx$ 绝对收敛，则该积分值为Y的期望。

数学期望具有以下性质：

设 $C$ 为常数，则 $E(C)=C$ .

设 $X$ 为一个随机变量， $C$ 是常数，则 $E(CX)=CE(X)$ .

设 $X、Y$ 是两个随机变量，则 $E(X\pm Y)=E(X)\pm E(Y)$ ，可以推广到任意有限个随机变量之和情况。（没有相互独立的要求）

设 $X、Y$ 是两个相互独立的随机变量，则 $E(XY)=E(X)E(Y)$ ，可以推广到任意有限个相互独立的随机变量之积情况。

方差

方差用来度量随机变量与其期望的偏离程度，设X是一个随机变量，若 $E\{[X-E(X)]^2 \}$ 存在，则称该项为随机变量 $X$ 的方差，记为 $D(X)$ 或 $Var(X)$ 。在应用上还引入了 $\sqrt{D(X)}$ ，记为 $\sigma (X)$ ，称为标准差或均方差。 $D(X)=0$ 当且仅当 $P\{X=E(X)\}=1$ 。

$D(X)=E(X^2 )-[E(X)]^2$

方差具有以下性质：

设 $C$ 是常数，则 $D(C)=0$ 。

设 $X$ 为随机变量， $C$ 为常数，则 $D(CX)=C^2D(X)$ ， $D(X+C)=D(X)$ 。

设 $X、Y$ 为两个随机变量，则 $D(X\pm Y)=D(X)+D(Y)\pm 2E\{[X-E(X)][Y-E(Y)]\}$ ，若 $X，Y$ 相互独立，则 $D(X\pm Y)=D(X)+D(Y)$

常见分布的期望与方差

（0-1）分布， $P\{X=0\}=1-p$ ， $P\{X=1\}=p$ ：

$E(X)=p，D(X)=p(1-p)$

参数为 $(n,p)$ 的二项分布：

$E(X)=np，D(X)=np(1-p)$

参数为 $\lambda$ 的泊松分布：

$E(X)=\lambda ，D(X)=\lambda$

参数为 $(a,b)$ 的均匀分布：

$E(X)=\frac{a+b}{2} ，D(X)=\frac{(b-a)^2 }{12}$

参数为 $\theta$ 的指数分布（ $f(x)=\frac{1}{\theta } e^\frac{-x}{\theta } ,x>0$ ）：

$E(X)=\theta ，D(X)=\theta ^2$

参数为 $(\mu ,\sigma ^2 )$ 的正态分布：

几何分布，设成功的概率为p：

负二项分布，设成功的概率为p，要求成功的次数为r：

标准化变量

对任意随机变量X，若存在期望 $E(X)$ 和方差 $D(X)$ ，作 $X^*=\frac{X-E(X)}{\sqrt{D(X)} }$ ，称 $X^*$ 为 $X$ 的标准化变量。 $E(X^* )=0，D(X^* )=1$ 。对变量进行标准化在机器学习数据预处理有应用，使问题容易处理。

切比雪夫不等式

设随机变量 $X$ 具有数学期望 $E(X)=\mu$ ，方差 $D(X)=\sigma ^2$ ，则对于任意正数 $\varepsilon$ ，有不等式

$P\{\vert X-\mu \vert\geq \varepsilon \}\leq \frac{\sigma ^2 }{\varepsilon ^2 }$ 成立。该不等式就是切比雪夫不等式。

切比雪夫不等式的意义是，随机变量的分布未知，只知道期望和方差时，能够估计 $P\{\vert X-\mu \vert <\varepsilon \}$ 的概率。这种估计非常粗略，如果知道分布的话可以计算出概率的准确值。

线性相关与相互独立

介绍方差性质的时候，有一条： $D(X\pm Y)=D(X)+D(Y)\pm 2E\{[X-E(X)][Y-E(Y)]\}$ ，若随即变量 $X、Y$ 相互独立，则 $E\{[X-E(X)][Y-E(Y)]\}=0$ 。

现在引入一个新的概念，协方差 $Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}$ 。协方差是用来解释两个随机变量在变化时是同向变化还是异向变化，同向变化协方差为正，异向变化协方差为负，数值越大说明变化相似度越高。

关于协方差的性质：

$Cov(X,Y)=E(XY)-E(X)E(Y)$

$Cov(aX,bY)=abCov(X,Y)$

$Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)$

协方差是无量纲的，为了剔除量纲的影响，引入了相关系数 $\rho _{XY} =\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y )} }$ 。相关系数是在协方差的基础上除以两个随机变量的标准差，这样就把协方差的数值标准化到 $[-1,1]$ 区间内，使人们能够更多地关注两个随机变量变化相似程度，而不是变化幅度大小。当相关系数等于 $\pm 1$ ，说明两个随机变量变化程度完全一致，你变大一倍我也变大（变小，若 $\rho =-1$ ）一倍，是完全的线性关系。若相关系数等于0，则说明两个变量没有线性关系，可能存在其它关系，例如W型或圆圈型。因此相关系数是反映两个随机变量的线性关系程度。