PH525x series - Class Prediction

本文的题目是class prediction（分类预测），其实就是机器学习，这两个词可以互相替代着使用。而本章呢，其实就是对机器学习进行一个简单的介绍，如果你想深入学习，作者给推荐了一本书，叫《The Elements of Statistical Learning: Data Mining, Inference, and Prediction》。

简单的说，机器学习（machine learning,ML）研究的其实就是因变量 $Y$ 与协变量 $X$ 之间的关系。它与统计推断其实有很多相似之处，不同之处在于机器学习的目的是预测 $Y$ ，统计推断的目的是估计和解释模型参数。这篇文章，作者重点介绍了两种机器学习的算法：回归和K临近算法（KNN）。另外还有一点要知道的是，在ML中， $X$ 被称作predictor或者feature。

训练集和测试集

所谓训练集，其实就是用于训练模型的一组数据，而测试集便是用于测试训练后模型的另一组数据。至于为啥使用不同的数据集去拟合或者训练，其实是为了检测过度训练（over-training）的情况。

所谓over-training也叫过拟合，指的是模型在训练集上表现的很好，但是在交叉验证集合测试集上表现一般，也就是说模型对未知样本的预测表现一般，泛化（generalization）能力较差。

下面作者用了一个例子来说明使用不同数据集去训练和测试模型的重要性，在这个例子中，自变量 $X$ 是二维数据，因变量 $Y$ 是二进制数据，而且二者之间是非线性的关系。

创建训练集合测试集

library(rafalib)
set.seed(1)
##create covariates and outcomes
##outcomes are alwasy 50 0s and 50 1s
s2=0.15
##pick means to create a non linear conditional expectation
library(MASS)
M0 <- mvrnorm(10,c(1,0),s2*diag(2)) ##generate 10 means
M1 <- rbind(mvrnorm(3,c(1,1),s2*diag(2)),
            mvrnorm(3,c(0,1),s2*diag(2)),
            mvrnorm(4,c(0,0),s2*diag(2)))

###funciton to generate random pairs
s<- sqrt(1/5)
N=200
makeX <- function(M,n=N,sigma=s*diag(2)){
  z <- sample(1:10,n,replace=TRUE) ##pick n at random from above 10
  m <- M[z,] ##these are the n vectors (2 components)
  return(t(apply(m,1,function(mu) mvrnorm(1,mu,sigma)))) ##the final values
}

###create the training set and the test set
x0 <- makeX(M0)##the final values for y=0 (green)
testx0 <- makeX(M0)
x1 <- makeX(M1)
testx1 <-makeX(M1)
x <- rbind(x0,x1) ##one matrix with everything
test <- rbind(testx0,testx1)
y <- c(rep(0,N),rep(1,N)) #the outcomes
ytest <- c(rep(0,N),rep(1,N))

使用线性回归算法去预测 $Y$

若想使用 $x$ 去预测 $y$ ，可能我们最快想到的办法就是进行线性回归：

X1 <- x[,1] ##these are the covariates
X2 <- x[,2] 
fit1 <- lm(y~X1+X2)

一旦我们计算出了拟合值，就可以通过 $\hat f(x_1,x_2) = \hat \beta_0 + \hat \beta_1x_1 + \beta_2x_2$ 去估计 $f(x_1,x_2)$ 了，在这里为了简化，当 $\hat f(x_1,x_2) > 0.5$ 时， $y$ 都视为1。

##prediction on train
yhat <- predict(fit1)
yhat <- as.numeric(yhat>0.5)
cat("Linear regression prediction error in train:",1-mean(yhat==y),"\n")
## Linear regression prediction error in train: 0.295

##prediction on test
yhat <- predict(fit1,newdata=data.frame(X1=test[,1],X2=test[,2]))
yhat <- as.numeric(yhat>0.5)
cat("Linear regression prediction error in test:",1-mean(yhat==ytest),"\n")
## Linear regression prediction error in test: 0.3075

可以看到，使用训练集和测试集去预测 $y$ 的错误率分别是0.295和0.3075，二者相差无几，也就是没有出现过拟合的情况。其实这也很正常，因为本例我们是使用了400个数据点拟合一个只有两个参数的模型，所以不太会出现过拟合的情况。

线性回归方法相对来讲比较死板，因为死板所以稳定且可以预防过拟合，但是线性回归在那种非线性关系的例子中就不再适用了。

K临近算法（kNN）

kNN与bin smoothing有些类似，都是在数据点 $x$ 周围选择 $k$ 个最近的点，然后计算他们的均值，从而得到 $\hat f(x_1,x_2)$ ，举例说明：

library(class) 
mypar(2,2)
for(k in c(1,100)){
  ##predict on train
  yhat <- knn(x,x,y,k=k)
  cat("KNN prediction error in train:",1-mean((as.numeric(yhat)-1)==y),"\n")     ##predict on test
  yhat <- knn(x,test,y,k=k)
  cat("KNN prediction error in test:",1-mean((as.numeric(yhat)-1)==ytest),"\n")
}
## KNN prediction error in train: 0
## KNN prediction error in test: 0.375
## KNN prediction error in train: 0.2425
## KNN prediction error in test: 0.2825

从上述结果中可以看到，当 $k=1$ 时，使用训练集无错误、使用测试集却有很多错误，而当 $k=100$ 时，使用两种数据集得到的结果却很稳定，作者画了几幅图：

library(class)
library(RColorBrewer)
hmcol <- colorRampPalette(rev(brewer.pal(11, "Spectral")))(100)
mycols=c(hmcol[1],hmcol[100])
cols <- mycols[c(rep(1,N),rep(2,N))]
colstest <- cols

GS <- 150 ##grid size is GS x GS
XLIM <- c(min(c(x[,1],test[,1])),max(c(x[,1],test[,1])))
tmpx <- seq(XLIM[1],XLIM[2],len=GS)
YLIM <- c(min(c(x[,2],test[,2])),max(c(x[,2],test[,2])))
tmpy <- seq(YLIM[1],YLIM[2],len=GS)
newx <- expand.grid(tmpx,tmpy) #grid used to show color contour of predictions

mypar(2,2)
for(k in c(1,100)){
  ##predict on train
  yhat <- knn(x,x,y,k=k)
  ##make plot
  yhat <- knn(x,newx,y,k=k)
  colshat <- mycols[as.numeric(yhat)]
  plot(x,type="n",xlab="X1",ylab="X2",xlim=XLIM,ylim=YLIM)
  points(newx,col=colshat,cex=0.35,pch=16)
#contour()是画等值线图的一种函数
  contour(tmpx,tmpy,matrix(as.numeric(yhat),GS,GS),levels=c(1,2),
          add=TRUE,drawlabels=FALSE)
  points(x,bg=cols,pch=21)
  title(paste("Train: KNN (",k,")",sep=""))
  
  plot(test,type="n",xlab="X1",ylab="X2",xlim=XLIM,ylim=YLIM)
  points(newx,col=colshat,cex=0.35,pch=16)
  contour(tmpx,tmpy,matrix(as.numeric(yhat),GS,GS),levels=c(1,2),
          add=TRUE,drawlabels=FALSE)
  points(test,bg=cols,pch=21)
  title(paste("Test: KNN (",k,")",sep=""))
}

202001101425.png

在上图中，背景中的红蓝底色区分的是使用测试集预测到的 $y$ ，而红色及蓝色的数据点则区分的是数据集本身的 $y$ 值。

使用训练集训练模型时，若 $k=1$ ，那么离自身最近的那个点就是其自身，所以就相当于用自身去预测自身，那预测结果肯定是不会出错的；但是从上图第一行的两幅图上我们可以看到，在红色区域中有很多蓝色的小岛，因此将测试集带入用 $k=1$ 训练出的模型中的话错误率就会增大。而当 $k=100$ 时就不会有这种问题，相比 $k=1$ ，我们的错误率还有所下降。

最后作者绘制了一幅横坐标为k值、纵坐标为错误率的直线图：

202001101617.png

其中上图中的黄色水平线是使用贝叶斯规则预测得到的错误率，从图中可知错误率其实是个随机变量并且具有标准误，而且当k小于20时，训练出的模型存在过拟合问题，而当k大于100时又出现了欠拟合问题。

阅读原文请戳