交叉验证——Cross-validation

交叉验证是建立模型后进行参数调整和模型检验的一个步骤。本文就sklearn自带的鸢尾花数据集，进行基本的建模思路整理和交叉验证梳理。

注：
鸢尾花案例的背景是，通过已知（历史）花的数据和对应的分类，训练出模型结果，从而得到分类模型。
实现效果是可以预测鸢尾花的分类。

建立model的基本思路与步骤

首先，导入相应模块
下载数据集，定义好x/y
分割数据集
选择算法对训练集训练
预测分类结果
检验得分：交叉验证

首先，导入相应模块；
下载数据集，定义好x/y

import numpy as np
from sklearn import datasets
from sklearn.cross_validation import train_test_split #用于分割数据集
from sklearn.neighbors import KNeighborsClassifier #引入算法

iris=datasets.load_iris()   #下载数据集
iris_X=iris.data               #定义属性（x）
iris_y=iris.target             #定义分类（y）

print(iris_X[:2,:])             #查看一下属性的前两行
print(iris_y)                   #查看分类

[[5.1 3.5 1.4 0.2]
[4.9 3. 1.4 0.2]]
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
2 2]

分割数据集——将数据分为为训练集（70% train）和测试集（30% test）:trian_test_split()
选择算法对训练集训练——用knn算法对数据进行训练：knn.fit(X_train,y_train)

#分割数据集，同时对数据做乱序
X_train,X_test,y_train,y_test=train_test_split(iris_X,iris_y,test_size=0.3)

# print(y_train)   #从这里可以看到，数字已经被打乱

knn=KNeighborsClassifier()  
knn.fit(X_train,y_train)

[0 0 2 1 2 1 0 0 1 2 0 1 0 2 2 0 1 1 1 1 1 2 2 1 0 2 1 1 1 0 0 0 0 0 1 1 0
2 0 2 0 2 2 2 2 2 1 0 1 1 0 2 2 0 0 1 2 1 0 2 1 2 1 1 1 0 1 2 2 2 0 0 1 0
1 1 0 1 2 2 0 2 0 1 0 2 2 2 0 2 1 0 0 2 0 2 2 1 1 0 2 1 1 2 2]
KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
metric_params=None, n_jobs=1, n_neighbors=5, p=2,
weights='uniform')

预测分类结果——把测试集（test）代入训练得到的结果：knn.predict()
检验——对预测结果与实际数值进行效果对比（验证是否选用该模型。接下来引入交叉验证）

print(knn.predict(X_test))
print(y_test)

[1 1 1 1 2 2 2 1 2 2 2 0 0 0 2 1 1 1 2 2 1 2 2 0 0 0 1 0 0 0 0 1 1 1 2 1 2
0 1 1 0 2 0 2 0]
[1 1 1 1 2 2 2 1 2 1 2 0 0 0 2 1 1 1 2 2 1 2 2 0 0 0 1 0 0 0 0 1 1 1 2 1 2
0 1 2 0 2 0 2 0]

交叉验证

交叉验证的基本思想是在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对分类器进行训练,再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。
而对一个数据集进行多次（cv）交叉验证，并对每一次的得分求平均得到最客观的评价分数可以作为最终评分。
因此，它的作用就是：用于参数调整和模型选择/评价。

用于模型选择——模型评价分的高低

from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier

iris=load_iris()
X=iris.data
y=iris.target

X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=4)
knn=KNeighborsClassifier(n_neighbors=5)
# 表示考虑数据点附近5个点的值并综合，得到预测值
knn.fit(X_train,y_train)
print(knn.score(X_test,y_test))   #只做一次分组测试，打印准确率

0.9736842105263158

训练五次获得综合评价

from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier

iris=load_iris()
X=iris.data
y=iris.target


from sklearn.cross_validation import cross_val_score
knn=KNeighborsClassifier(n_neighbors=5)
scores=cross_val_score(knn,X,y,cv=5,scoring='accuracy') 
# 分成5组不同的训练&测试集；得分标准定位 准确度（分类模型通常以准确度为准）
print(scores.mean())   #综合五次训练得分的平均分

0.9733333333333334

该结果接近满分，说明模型分类效果较好。可以采用该模型。

用于调整参数

循环找到合适的k值

KNN算法中k值的大小，代表分类时考虑训练数据点周围的数据点的个数。不同的k的取值，分类结果不同。我们可以用循环的方法对k进行循环，根据不同k值对应的得分（上述交叉验证的评价得分）决定k的取值，从而确定最终的模型和模型评价。

用准确度评价

from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier

iris=load_iris()
X=iris.data
y=iris.target

# X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=4)
# knn=KNeighborsClassifier(n_neighbors=5)
# knn.fit(X_train,y_train)
# print(knn.score(X_test,y_test))
# knn=KNeighborsClassifier(n_neighbors=5)
# scores=cross_val_score(knn,X,y,cv=5,scoring='accuracy')                             #分成5组
print(scores.mean())   #综合五次训练得分的平均分

from sklearn.cross_validation import cross_val_score
import matplotlib.pyplot as plt
k_range=range(1,31)
k_scores=[]
for k in k_range:
    knn=KNeighborsClassifier(n_neighbors=k)
    scores=cross_val_score(knn,X,y,cv=10,scoring='accuracy') #for classification   分类的评价用准确度
    k_scores.append(scores.mean())
    
plt.plot(k_range,k_scores)
plt.xlabel('Value of K for KNN')
plt.ylabel('Cross_Validated Accuracy')
plt.show()

image.png

上图是以准确度为评价标准，k从1～31对应的score的值
这组数据选择12～18至间的数字会比较好。

from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier

iris=load_iris()
X=iris.data
y=iris.target

from sklearn.cross_validation import cross_val_score
import matplotlib.pyplot as plt
k_range=range(1,31)
k_scores=[]
for k in k_range:
    knn=KNeighborsClassifier(n_neighbors=k)
    loss=-cross_val_score(knn,X,y,cv=10,scoring='neg_mean_squared_error')  # for regression ，回归的评价用 平均方差
   #scores=cross_val_score(knn,X,y,cv=10,scoring='accuracy') #for classification   对比regression发现，只有前面的负号和评分方式不同。
    k_scores.append(loss.mean())
    
plt.plot(k_range,k_scores)
plt.xlabel('Value of K for KNN')
plt.ylabel('Cross_Validated Accuracy')
plt.show()