前面“回归分析中的问题和修正的探讨（下篇）”，讲到了无偏性和有效性， 这里把评价参数估计的常用指标简述下下。
基本指标
1.1 无偏性 Unbias
估算的偏差就是估计值的期望与真实值的差值。
无偏就要求估计值的期望就是真实值。
1.2 有效性 Efficiency
如果有两个估计值， 那么分布在距离真实值附近的应该效果更好。
在这种思路下，相对有效性是相对值， 估计T1和估计T2的相对有效性是平方差的期望的反比值。如果比值越大，说明T1越有效。
所以，单纯从有效性出发，最有效的，也就是最好Best的估计是均方差最小的估计。 如果是无偏估计， 那么就是方差最小了。
1.3 一致性 Consistency
就是随着样本量n增加，最后估算值会按概率收敛到真实值， 那么就是一致的估计。
所以直观上来说，就是随着样本增加， 估计距离真实值的附近的波动越来越小，直到收敛。
一致性和无偏性有一定相似的地方， 都是围绕真实值得。 但是无偏性可以一直震荡， 但不收敛， 而一致性必须收敛。 无偏性要求分布真实值两边对称， 但是无偏性只要收敛，并无对称要求。
有偏一致的估计 （红色） VS 无偏不一致的估计（蓝色）
1.4 渐进性 Asymptote
渐近性就是现在不满足， 但是按照大数定理， 随着样本数n增长就满足了。
常见的有渐进无偏性 Asymptotic unbiasness：
当前是有偏的， 但是随着n增大， 可以证明是无偏的
渐进有效性 Asymptotic efficiency：
譬如均值估计， 方差会越来越小， 收敛到期望， 一般来说最大似然估计满足渐进有效性。
渐进正态性 Asymptotic normality：
某种意义上就是中心极限定理的表述：
鲁棒性 Robustness：
简单来说就是就算存在奇异值Outlier（参考一个奇异值的江湖 -- 经典统计观）的时候估计方法也应该适用的。
举个例子，均值Mean和中值Median的对比， 当正态分布的时候， 两者是比较一致的， 但是偏度Skewness比较大的时候， 均值和中值表现就不一样了。中值依然能把数据50%的划分， 而均值就不行了。那么， 你要想象一下，只是偏度变化就这样了， 假如有一个超级大的outlier， 那么均值肯定效果不好， 所以中值在估算平均水平的时候比较Robust。
这也是为什么， 对于有偏度的分布， 我们要尽量先进行数据变换（参考数据变换）， 而对于有异常值得数据，先进性异常值检验（参考一个奇异值的江湖 -- 经典统计观，一个奇异值的江湖 -- 机器学习观）， 因为很多算法并不鲁棒。
再延伸一步， 这样某种意义上， 从均值发展而来的最小二乘法（详细参考一步一步走向锥规划 - 最小二乘法），也是不鲁棒的。
最小二乘法 从均值到线性（自由度增加）
最小二乘法对outlier敏感
对比之下， 而从Median加上线性思想发展起来的L-Estimator是鲁棒的。
类比之下， 从排序Ranking发展起来的R-Estimator也是鲁棒的。
延伸之下， 从最大似然Maximum Likelihood靠近的M-Estimator也相对鲁棒。
Outlier下的OLS （红） vs MLE （蓝）
另外有个伟大的算法， 叫随机抽样一致RANdom SAmple Consensus,RANSAC， 它对outlier有一套， 有兴趣大家可以详细看看， 是回归里面自带outlier检验的算法， 鲁棒性比较好。 以后有机会再展开。
组合指标
最常用的组合指标有两个一个是BLUE， Best Linear Unbias Estimiaton和MVUE,Minimum Variance Unbias Estimiation。 都是要求无偏， 并且最有效的， 区别是一个是线性的， 一个是非线性的。
举个例子， 如下图，线性的估计，就希望是BLUE的， 而非线性的估计，就希望是MVUE的。 很明显，如果是非线性的情况， 很大情况要比线性情况估算的方差要小的。
小结
我们把参数估计的常用指标大致概述了下下， 主要是BLUE和MVUE的引入。
关键词：
Unbias
Efficiency
Consistency
Asymptote
Robustness
L-Estimator
R-Estimator
M-Estimator
RANSAC
BLUE
MVUE
相关话题：
Z-Test vs T-Test vs F-Test vs χ2-Test
