高级计量经济学 6：小样本OLS(下: $t$ 检验)

此文内容为《高级计量经济学及STATA应用》的笔记，陈强老师著，高等教育出版社出版。

我只将个人会用到的知识作了笔记，并对教材较难理解的部分做了进一步阐述。为了更易于理解，我还对教材上的一些部分（包括代码和正文）做了修改。

仅供学习参考，请勿转载，侵删！

本文目录：

3 小样本OLS
- 3.6 对单个系数的 $t$ 检验
  - 3.6.1 假设 $\pmb\varepsilon|{\bf X}\sim N(0,\sigma^2 {\bf I})$
  - 3.6.2 假设检验的基本思想
  - 3.6.3 计量的第一大类检验：沃尔德检验（Wald test）
  - 3.6.4 定义 $t$ 统计量
  - 3.6.5 $t$ 检验和 $p$ 值
  - 3.6.6 犯第几类错误？

$\S \text{ 第 3 章 } \S$

$\text{小样本OLS}$

3 小样本OLS

3.6 对单个系数的 $t$ 检验

3.6.1 假设 $\pmb\varepsilon|{\bf X}\sim N(0,\sigma^2 {\bf I})$

在第3.1节我们已经知道，小样本OLS有4个基本假定，即：

线性假定
严格外生性： ${\rm E}(\pmb \varepsilon | {\bf X})=0 \Rightarrow {\rm E}(\pmb \varepsilon)=\pmb 0$
不存在多重共线性
球形扰动项： ${\rm Var}(\pmb \varepsilon) = \sigma^2 \bf I$

为了统计推断，在这里我们给出一个新的假定。

假定：在给定 ${\bf X}$ 的情况下， $\pmb \varepsilon|{\bf X}$ 的条件分布为正态分布，即：
$\pmb \varepsilon|{\bf X} \sim N(0, \sigma^2 {\bf I})$
由于正态分布有较好的性质：

密度函数完全由均值和协方差矩阵决定
两个随机变量不相关就是相互独立
正态分布的线性函数依然是正态分布

所以我们作此假设（这个假设的理论基础是中心极限定理）。

注意：此前已经的假设已经保证 $\pmb \varepsilon|{\bf X}$ 的期望是 $\pmb 0$ 、方差是 $\sigma^2 \bf I$ 。这个新的假设只是让 $\pmb \varepsilon|\bf X$ 满足正态分布而已

3.6.2 假设检验的基本思想

需要检验的假设称为“原假设”或“零假设”，在这里我们的零假设为 $H_0: \beta_k = \bar{\beta_k}$ ，通常 $\bar{\beta_k}=0$ 。这个时候我们实际上检验的是回归系数是否显著地不为零。

假设检验是一种概率意义上的反证法，即首先假设原假设成立的前提下，是否导致不太可能发生的小概率事件在一次抽样中发生。如果小概率事件居然在一次抽样实验中被观测到，则说明原假设不太可信，应该拒绝原假设，转而接受 $\beta_k \neq \bar{\beta_k}$ 。

3.6.3 计量的第一大类检验：沃尔德检验（Wald test）

直观来说，如果未知参数 $\beta_k$ 的估计值 $b_k$ 离 $\bar{\beta}_k$ 较远，则更应该倾向于拒绝原假设。此类检验称为沃尔德检验。

在衡量距离时，由于绝对距离依赖于变量的量纲，所以需要对距离进行标准化。前面已经提到，在计量中，标准化的方法一般是除以标准差。

由于我们假设 $\pmb \varepsilon|{\bf X} \sim N(0, \sigma^2 {\bf I})$ ，而前面已经推导 $\pmb b -\pmb \beta = A \pmb \varepsilon$ ，所以 $\pmb b -\pmb \beta|{\bf X}$ 也服从正态分布（正态分布的线性组合也是正态分布）。而且我们知道：
$\pmb b - \pmb \beta \sim N(0, \sigma^2({\bf X'X})^{-1})$

证明：说实话这个前面已经证明过的，这里复习一下好了

由于 ${\rm E}(\pmb \varepsilon|{\bf X}) = 0$ ，由期望算子的线性性，必须有：
${\rm E}(A\pmb \varepsilon|{\bf X}) = A{\rm E}(\pmb \varepsilon|{\bf X})=A\cdot 0=0$
由于 ${\rm Var}(\pmb \varepsilon|{\bf X}) = \sigma^2 \bf I$ ，由夹心估计量公式，有：
${\rm Var}(A\pmb \varepsilon|{\bf X})=A{\rm Var}(\pmb \varepsilon|{\bf X})A^\prime = A \sigma^2 {\bf I} A' = \sigma^2 AA'$
代入 $A = ({\bf X'X})^{-1}\bf X^\prime$ ，马上有：
${\rm Var}(\pmb \varepsilon|{\bf X})=\sigma^2({\bf X'X})^{-1}$
证毕。

所以，在原假设 $H_0: \beta_k = \bar{\beta_k}$ 成立的情况下， $\pmb b -\pmb \beta$ 的第 $k$ 个分量 $b_k - \beta_k$ 满足：
$b_k -\beta_k = b_k - \hat \beta_k\sim N(0, \sigma^2({\bf X'X})_{kk}^{-1})$
其中 $\sigma^2({\bf X'X})_{kk}^{-1}$ 是 $b_k$ 的方差。

回顾多维正态分布的协方差矩阵 $\bf \Sigma$ 的对角线元素为方差，非对角线元素为协方差

那么根据标准化公式 $\frac{X-\mu}{\sigma} \sim N(0,1)$ 我们可以如法炮制：
$\frac{b_k-\hat\beta_k - 0}{\sqrt{\sigma^2({\bf X'X})_{kk}^{-1}}} \sim N(0,1)$
这就是假设检验的基础。如果我们知道总体扰动项的方差，那么就可以用正态分布进行假设检验。

3.6.4 定义 $t$ 统计量

可是我们不知道 $\sigma$ 啊！

一个合格的检验统计量应该满足：

可以通过样本计算出来的
概率分布是知道的

所以我们除了估计 $\pmb \beta$ 以外，还需要估计 $\sigma$ 。这是一个俄罗斯套娃。

不过，前面我们已经证明小样本OLS的一个性质是 ${\rm E}(s^2) = \sigma^2$ ，那我们就可以用 $s^2$ 来估计 $\sigma^2$ 了，你说巧不巧。

定理：在小样本OLS的5个基本假设下，如果 $H_0: \beta_k = \bar{\beta_k}$ ，那么
$t_k \equiv \frac{b_k-\hat\beta_k}{\sqrt{s^2 ({\bf X'X})_{kk}^{-1}}} \sim t(n-K)$

证明：在前面我们已经提到， $t$ 分布的两个条件分别是：

$\frac{N(0,1)}{\sqrt{\chi^2(k)/k}}$

分子分母要独立

我们分别证明。

由于我们知道 $\frac{b_k-\hat\beta_k - 0}{\sqrt{\sigma^2({\bf X'X})_{kk}^{-1}}} \sim N(0,1)$ ，所以这暗示我们要搞一个 $\sigma$ 在分母，于是：
$\frac{b_k-\hat\beta_k}{\sqrt{s^2 ({\bf X'X})_{kk}^{-1}}} = \frac{b_k-\hat\beta_k}{\sqrt{\sigma^2 ({\bf X'X})_{kk}^{-1}}} \frac{\sigma}{s} = \frac{N(0,1)}{s/\sigma}$
然后我们需要证明 $\frac{s}{\sigma} \sim \chi^2(n-K)$ 就可以了：
$\frac{s^2}{\sigma^2} = \frac{\pmb{e'e}}{\sigma^2}=\frac{\pmb \varepsilon' M \pmb\varepsilon}{\sigma^2} = \frac{ \pmb \varepsilon' }{\sigma} M \frac{ \pmb \varepsilon }{\sigma}=二次型$
由于 $\pmb\varepsilon|{\bf X}\sim N(0,\sigma^2 {\bf I})$ ，那么 $\frac{\pmb\varepsilon}{\sigma}|{\bf X}\sim N(0,{\bf I})$ 。前面已经提到 $M$ 满足 $M^2 = M$ ，即 $M$ 是一个幂等矩阵。那么根据以下的引理：

如果 $M$ 是一个幂等矩阵，而且 $\pmb x \sim N(0,{\bf I})$ ，那么二次型 $\pmb x' M \pmb x \sim \chi^2({\rm rank}(M))$

特别地，如果 $M = {\bf I}_n$ ，引理就变为 $\pmb x' \pmb x \sim \chi^2(n)$ ，这是显然的

你可以理解为， $M$ 是不满秩的类单位阵

应用上面的引理，就有：
$\frac{ \pmb \varepsilon' }{\sigma} M \frac{ \pmb \varepsilon }{\sigma} \sim \chi^2({\rm rank}(M)) = \chi^2(n-K)$
接下来证明 $\frac{b_k-\hat\beta_k - 0}{\sqrt{\sigma^2({\bf X'X})_{kk}^{-1}}}$ 和 $\frac{\sigma}{s}$ 相互独立：我们知道，在 $\bf X$ 已经给定的条件下， $\frac{b_k-\hat\beta_k - 0}{\sqrt{\sigma^2({\bf X'X})_{kk}^{-1}}}$ 是 $\pmb b$ 的函数，而 $\frac{\sigma}{s}$ 是 $\pmb e$ 的函数。所以我们只需要证明 $\pmb b$ 和 $\pmb e$ 相互独立即可。

我们在前面已经假设了 $\pmb b = \pmb \beta +A\pmb\varepsilon \sim N$ ， $\pmb e = M\pmb\varepsilon \sim N$ ，故只需要证明 ${\rm Cov}(\pmb b, \pmb e |{\bf X})=0$ 就可以证明它们相互独立（正态分布的不相关就是独立）：
${\rm Cov}(\pmb b, \pmb e|{\bf X}) = {\rm Cov}(\pmb \beta + A \pmb \varepsilon, M\pmb \varepsilon|{\bf X})={\rm Cov}(A \pmb \varepsilon, M\pmb \varepsilon|{\bf X})$
根据方差的方便公式（向量） ${\rm Var}(\pmb X) = {\rm E}(\pmb X\pmb X') - {\rm E}(\pmb X)[{\rm E}(\pmb X)]^\prime$ ，我们可以推广到协方差的计算为（证明略）：
${\rm Cov}(\pmb X,\pmb Y) = {\rm E}(\pmb X\pmb Y') - {\rm E}(\pmb X)[{\rm E}(\pmb Y)]^\prime$
于是：
$\begin{split} 原式&={\rm E}(A \pmb \varepsilon (M \pmb \varepsilon)^\prime|{\bf X}) - \underbrace{{\rm E}(A\pmb \varepsilon|{\bf X})}_{=\pmb 0}[\underbrace{{\rm E}(M\pmb\varepsilon|{\bf X})}_{=\pmb 0}]^\prime \\ &={\rm E}(A \pmb \varepsilon \pmb \varepsilon^\prime M^\prime|{\bf X})\\ (M是对称阵)& = A {\rm E}(\pmb \varepsilon \pmb \varepsilon^\prime|{\bf X})M \end{split}$
注意到：（使用严格外生性假设）
${\rm Var}(\pmb \varepsilon | {\bf X}) = {\rm E}(\pmb \varepsilon \pmb \varepsilon^\prime|{\bf X}) - \underbrace{{\rm E}(\pmb \varepsilon)}_{=\pmb 0}[{\rm E}(\pmb \varepsilon)]^\prime = {\rm E}(\pmb \varepsilon \pmb \varepsilon^\prime|{\bf X}) = \sigma^2{\bf I}$

于是：
$\begin{split} 原式&=\sigma^2AM = \sigma^2 ({\bf X}^\prime{\bf X})^{-1}{\bf X}^\prime M\\ &=\sigma^2({\bf X}^\prime{\bf X})^{-1}(\underbrace{M{\bf X}}_{=\pmb 0})^\prime = \pmb 0 \end{split}$
证毕。

更一般地，如果我们要对某个所估计的参数进行沃尔德检验，那么有以下的通用公式：
$\frac{估计量-假想值}{估计量的标准误} \sim 某个分布$
其实这就是沃尔德检验的思想：估计量和假想值不应该太远。实际上，计量经济学有三大类检验：

沃尔德检验
似然比检验
拉格朗日乘子检验

他们的用处各有不同，后面会慢慢学到。

3.6.5 $t$ 检验和 $p$ 值

计算了 $t$ 统计量后，如果 $|t_k|$ 很大，则原假设 $H_0$ 不可信。使用绝对值是因为你的估计量可以比假想值小很多，也可以比它大很多，这都不妨碍推翻原假设。只要估计比离假想值足够远就可以了。

它的基本思想是：你观测到的估计量偏离你的假想值太多了，以至于它出现的概率很小。而这么小概率的事情居然出现了，说明原假设 $H_0$ 不可信。

那这个所谓的“它出现的概率”是多少呢？就是 $p$ 值。由于我们所计算的统计量（ $t_k$ ）服从 $t$ 分布，所以我们也叫它 $t$ 检验。如何从 $t$ 值计算 $p$ 值呢，它是这样计算的：
$\begin{split} p = {\rm P}(t>|t_k|) \times 2 &= [1 - {\rm P}(t<|t_k|)]\times 2\\ &=[1- {\rm P}(-t_k < t < t_k)] \times 2\\ &=\{1- [{\rm P}(t < t_k) - {\rm P}(t < -t_k)]\} \times 2\\ \end{split}$
在这里， $t$ 分布的自由度是 $n-K$ 。之所以要写的这么详细，是因为在一些计算机语言中，它给出了 $t$ 分布的累积分布函数。比方说这个函数是

def T(t, freedom):
  '''
  t: 要计算的t统计量
  freedom: 自由度
  '''
  return T分布在t处的累积分布函数

那么你就可以通过这样计算 $p$ 值：

t = 你计算的t统计量
p = (1 - ( T(t, n-K) - T(-t, n-K)))*2

不过说实话很多计算机的统计包都会在返回回归结果时自动汇报统计量。搞这么细主要是用于开发自己的计量工具用的。

3.6.6 犯第几类错误？

统计学中有第I类错误和第II类错误的概念。

第I类错误： ${\rm P}(拒绝了H_0|实际上H_0是对的)$
第II类错误： ${\rm P}(接受了H_0|实际上H_0是错的)$

原理上，这两类错误不可能同时减少。我们在进行假设检验时，通常知道第一类错误发生的概率，这也是 $p$ 值的类别。你只需要记住：如果拒绝 $H_0$ 我们可以理直气壮，但我们并没有把握接受 $H_0$ 的。

高级计量经济学 6：小样本OLS(下: t 检验)

高级计量经济学 6：小样本OLS(下: t 检验)

高级计量经济学 6：小样本OLS(下: $t$ 检验)

3 小样本OLS

3.6 对单个系数的 $t$ 检验