Error Propagation

basic

测量误差:

统计学中，由于仪器精度等限制会导致测量误差，不同的测量误差再组合传播过程中，不确定性符合误差传播理论；

统计学中，真实值一般表示为： $x+\Delta x$ ；

其中， $\Delta x$ 为绝对误差， $\frac{\Delta x}{x}$ 表示相对误差，为不确定性的两种形式。

正态分布:

一般用来描述随机变量的分布形式，

一般表示为 $x \pm \sigma$ ,即 中心值 $\pm$ 标注偏差；
$\sigma$ 表示的是中心值两边共68%的置信区间，即认为覆盖了大概68%的真实值case。

方差与协方差：

变量组合中如果两个参数不确定性相关，需要考虑协方差；
如果两个参数不相关，仅需考虑方差。

雅可比矩阵:

多变量函数的一阶偏导数以一定方式排列成的矩阵。
$\mathbf{J}=\left[\begin{array}{ccc} \frac{\partial f}{\partial x_{1}} & \cdots & \frac{\partial f}{\partial x_{n}} \end{array}\right]=\left[\begin{array}{ccc} \frac{\partial f_{1}}{\partial x_{1}} & \cdots & \frac{\partial f_{1}}{\partial x_{2}} \\ \vdots & \ddots & \vdots \\ \frac{\partial f_{m}}{\partial x_{1}} & \cdots & \frac{\partial f_{m}}{\partial x_{n}} \end{array}\right]$

体现了一个可微方程与给出点的最优线性逼近；
几何上可以理解为坐标变换矩阵，将输入 $X_n$ 的n维欧氏空间映射到输出的 $X_m$ 的m维欧式空间的函数；

误差传播理论

函数f(x)的不确定性由该函数的各个变量的不确定性组合得到，即误差传播理论。

线性组合

$f_{k}=\sum_{i=1}^{n} A_{k i} x_{i}$

其方差-协方差矩阵为：
$\mathbf{\Sigma}^{x}=\left(\begin{array}{cccc} \sigma_{1}^{2} & \sigma_{12} & \sigma_{13} & \cdots \\ \sigma_{12} & \sigma_{2}^{2} & \sigma_{23} & \cdots \\ \sigma_{13} & \sigma_{23} & \sigma_{3}^{2} & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{array}\right)=\left(\begin{array}{cccc} \Sigma_{11}^{x} & \Sigma_{12}^{x} & \Sigma_{13}^{x} & \cdots \\ \Sigma_{12}^{x} & \Sigma_{22}^{x} & \Sigma_{23}^{x} & \cdots \\ \Sigma_{13}^{x} & \Sigma_{23}^{x} & \Sigma_{33}^{x} & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{array}\right)$
如果x中变量相关，则 $f_k$ 的方差：
$\sigma_{f}^{2}=\sum_{i}^{n} a_{i}^{2} \sigma_{i}^{2}+\sum_{i}^{n} \sum_{j(j \neq i)}^{n} a_{i} a_{j} \rho_{i j} \sigma_{i} \sigma_{j}$
如果x中变量均不相关，则 $f_k$ 的方差：
$\sigma_{f}^{2}=\sum_{i}^{n} a_{i}^{2} \sigma_{i}^{2}$

非线性组合

一阶泰勒级数展开

一般是通过一阶泰勒级数展开对函数进行线性化，从而得到雅可比矩阵 $J$ 代替线性组合里面的A；

然后针对线性化的非线性组合，忽略掉相关性，可得到方差公式：
$s_{f}=\sqrt{\left(\frac{\partial f}{\partial x}\right)^{2} s_{x}^{2}+\left(\frac{\partial f}{\partial y}\right)^{2} s_{y}^{2}+\left(\frac{\partial f}{\partial z}\right)^{2} s_{z}^{2}+\cdots}$

本质是线性组合计算方差；

常用非线性组合方差及标准差计算

image-20201029143444814.png

协方差传播
假如已知a和b的方差,有两个函数：
$\left\{\begin{matrix} f1=f1(a,b)\\f2= f1(a,b) \end{matrix}\right.$
则f1和f2的协方差可以通过以下求得：
1.首先可以求得f1和f2的泰勒计数展开：
$\left\{\begin{matrix} f1= f1(a,b)\approx \frac{\partial f1}{\partial a}*a+ \frac{\partial f1}{\partial b}*b \\ f2= f1(a,b)\approx \frac{\partial f2}{\partial a}*a+ \frac{\partial f2}{\partial b}*b \end{matrix}\right.$
2.得到协方差方程：
$cov(f1,f2)= (\frac{\partial f1}{\partial a}*\sigma _a+ \frac{\partial f1}{\partial b} *\sigma _b )* (\frac{\partial f2}{\partial a}*\sigma _a+ \frac{\partial f2}{\partial b} *\sigma _b )\\ =\frac{\partial f1}{\partial a}*\frac{\partial f2}{\partial a}*\sigma _a^2+\frac{\partial f1}{\partial b}*\frac{\partial f2}{\partial b}*\sigma _b^2 +\frac{\partial f1}{\partial a}*\frac{\partial f2}{\partial b}*cov(a,b) +\frac{\partial f1}{\partial b}*\frac{\partial f2}{\partial a}*cov(a,b)$
其中， $\sigma _a$ 为a的标准差；

公式中cov(a,b) 代表a和b的协方差，不能直接用两者标准差相乘表示。

Reference

1.Propagation of uncertainty
2.Error Propagation