大师兄的应用回归分析学习笔记（十五）：自变量选择与逐步回归（三）
大师兄的应用回归分析学习笔记（十七）：多重共线性的情形及其处理（二）

一、多重共线性产生的背景和原因

• 解释变量之间完全不相关的情形非常少见，尤其是研究某个经济问题时，涉及的自变量较多，很难找到一组自变量，他们之间完全不相关，而且他们又都对因变量有显著影响。
• 当某一经济显现涉及多个影响因素时，这些影响因素之间大多有一定的相关性：

• 当他们之间的相关性较弱时，一般就认为符合多元性回归模型设计矩阵的要；
• 当这一变量有较强的相关性时，就认为是一种违背多元性回归模型基本假设的情形。

• 当所研究的经济问题涉及时间序列资料时，由于经济变量往往随时间存在共同的变化趋势，它们之间容易出现共线性。

• 例如，要研究居民消费状况，影响居民消费的因素很多，一般有职工平均工资、农民平均收入、银行利率、全国零售物价指数、过招利率、货币发行量、储蓄额、前期消费额等，这些因素显然即对居民消费产生重要影响，彼此之间又有很强的相关性。

• 对于许多利用横截面数据建立回归方程的问题，尝尝也存在自变量高度相关的情形。

• 例如，以企业的横截面数据为样本估计生产函数，由于投入要素资本K、劳动力投入L、科技投入S、能源供应E等都与企业的生产规模有关，所以它们之间存在较强的相关性。

• 在实际建立回归模型时，由于研究者认识水平的局限性，不可避免地会出现所选变量相关的情形。
• 需要关注当自变量之间有较强的相关性时，会给回归模型的参数估计带来什么样的后果。

二、多重共线性对回归模型的影响

• 设回归模型：存在完全的多重共线性，即对设计矩阵X的列向量存在不全为零的一组数，使得。
• 此时设计矩阵X的秩虽然成立，但是的对角线元素很大，的方差阵的对角线元素很大，而的对角线元素即，因而的估计精度很低。
• 这样虽然用普通最小二乘估计能得到的无偏估计，但估计量的方差很大，不能正确判断解释变量对被解释变量的影响程度，甚至导致估计量的经济意义无法解释。
• 假设做y对两个自变量的线性回归，假定y与都已经中心化，此时回归常数项为零，回归方程为：，记，则与之间的关系系数为：
• 可得
• 可知随着自变量与的相关性增强，和的方差将逐渐增大。
• 当与完全相关时，r=1，方差将变为无穷大。

• 当给定不同的值时，可看出方差增大的速度
• 假设，相关系数从0.5变为0.9时，回归系数的方差增加了295%
• 相关系数从0.5变为0.95时，回归系数的方差增加了671%

• 回归变量的相关程度越高，多重共线性越严重，回归系数的估计值方差越大，回归系数的置信区间就变得很宽，估计的精确性打不降低，使估计值稳定性变得很差。
• 导致回归方程整体高度显著时，一些回归系数通不过显著性检验，回归系数的正负号也坑你出现倒置，使回归方程无法得到合理的经济解释。
• 直接影响到最小二乘法的应用效果，降低回归方程的应用价值。