尝试获取一个回归方程时，实际上你就要面对着从众多可能的模型中做出选择，包括对回归模型的比较以及变量的选择。
模型比较-AIC
AIC(赤池信息准则)用来比较模型，它考虑了模型的统计拟合度以及用来拟合的参数数目。AIC值小的回归模型要优先选择，它说明模型用少的参数获得了足够的拟合度
> state<-as.data.frame(state.x77[,c("Murder","Population","Illiteracy","Income","Frost")])
> fit1<-lm(Murder~Population+Illiteracy+Income+Frost,data = state)
> fit2<-lm(Murder~Population+Illiteracy,data = state)
> AIC(fit1,fit2)
df AIC
fit1 6 241.6429
fit2 4 237.6565
此处AIC值表明没有Income和Frost的模型更佳
变量选择
从大量候选变量中选择最终的预测变量（自变量）有两种流行的方法：逐步回归法和全子集回归法
逐步回归法-stepAIC()
逐步回归中，模型会一次添加或者删除一个变量，直到达到某个判定准则为止
向前回归：每次添加一个预测变量到模型中，知道添加变量不会使模型有所改进为止
向后回归：从模型包含的所有预测变量开始，一次删除一个变量直到会降低模型质量为止
逐步回归可以使用MASS包中的stepAIC()函数实现
> library(MASS)
> state<-as.data.frame(state.x77[,c("Murder","Population","Illiteracy","Income","Frost")])
> fit<-lm(Murder~Population+Illiteracy+Income+Frost,data = state)
> stepAIC(fit,direction = "backward")
Start: AIC=97.75
Murder ~ Population + Illiteracy + Income + Frost
Df Sum of Sq RSS AIC
- Frost 1 0.021 289.19 95.753
- Income 1 0.057 289.22 95.759
<none> 289.17 97.749
- Population 1 39.238 328.41 102.111
- Illiteracy 1 144.264 433.43 115.986
Step: AIC=95.75
Murder ~ Population + Illiteracy + Income
Df Sum of Sq RSS AIC
- Income 1 0.057 289.25 93.763
<none> 289.19 95.753
- Population 1 43.658 332.85 100.783
- Illiteracy 1 236.196 525.38 123.605
Step: AIC=93.76
Murder ~ Population + Illiteracy
Df Sum of Sq RSS AIC
<none> 289.25 93.763
- Population 1 48.517 337.76 99.516
- Illiteracy 1 299.646 588.89 127.311
Call:
lm(formula = Murder ~ Population + Illiteracy, data = state)
Coefficients:
(Intercept) Population Illiteracy
1.6515497 0.0002242 4.0807366
上述代码展示了向后回归
根据AIC值判断，最优预测变量应该是Population+Illiteracy
逐步回归法其实存在争议，虽然它可能会找到一个好的模型，但是不能保证模型就是最佳模型，因为不是每一个模型都被评价了。为了克服这个限制，便有了全子集回归
全子集回归-regsubsets()
全子集回归指所有的模型都会被检验。
全子集回归可以使用leaps包中的regsubsets()函数实现。可以通过R平方，调整R平方统计量来选择最佳模型
R平方含义时预测变量解释响应变量的程度，R平方总会随着变量数目的增加而增大
调整R平方则提供了更为真实的R平方估计
> library(leaps)
> state<-as.data.frame(state.x77[,c("Murder","Population","Illiteracy","Income","Frost")])
> leaps<-regsubsets(Murder~Population+Illiteracy+Income+Frost,data = state,nbest=4)
> plot(leaps,scale = "adjr2")#选择调整R平方值
image.png
如图所示
截距+Income的调整R平方值为0.033
截距+Population的调整R平方值为0.1
以此类推
调整R平方值越高的模型越好
因此最佳预测变量为
Population+Illteracy
