Python机器学习基础教程学习笔记（4）——KNN处理wave数据集（回归）
1 wave数据集
wave数据集只有一个输入特征和一个连续的目标变量（或响应）
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import mglearn
# 加载wave数据集
X,y = mglearn.datasets.make_wave(n_samples=40)
# 做图
plt.plot(X,y,'o')
plt.ylim(-3,3)
plt.xlabel("feature")
plt.ylabel("target")
plt.show()
output_3_0
2 knn回归
# k=1时
mglearn.plots.plot_knn_regression(n_neighbors=1)
output_5_0
# k=3
mglearn.plots.plot_knn_regression(n_neighbors=3)
output_6_0
3 knn处理wave数据集
# 引入knn
from sklearn.neighbors import KNeighborsRegressor
from sklearn.model_selection import train_test_split
# 拆分训练集与测试集
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=0)
# 模型实例化，并将邻居个数设为3
reg = KNeighborsRegressor(n_neighbors=3)
# 用训练数据和训练目标来拟合模型
reg.fit(X_train,y_train)
KNeighborsRegressor(algorithm='auto', leaf_size=30, metric='minkowski',
metric_params=None, n_jobs=None, n_neighbors=3, p=2,
weights='uniform')
print("Test set predictions:{}".format(reg.predict(X_test)))
Test set predictions:[-0.05396539 0.35686046 1.13671923 -1.89415682 -1.13881398 -1.63113382
0.35686046 0.91241374 -0.44680446 -1.13881398]
4 模型评估
- 对于回归问题，score方法返回的是R^2分数
- R^2分数也叫做决定系统，是回归模型预测的优度度量
- 位于0-1之间
- R^2=1，对应完美预测
- R^2=0，对应常数模型，即总是预测训练响应（y_train）的平均值
print("Test set R^2:{:.2f}".format(reg.score(X_test,y_test)))
Test set R^2:0.83
5 分析knn回归
fig, axes = plt.subplots(1,3,figsize=(15,4))
# 创建1000个点，在-3和3之间均匀分布
line = np.linspace(-3,3,1000).reshape(-1,1)
for n_neighbors,ax in zip([1,3,9],axes):
reg = KNeighborsRegressor(n_neighbors=n_neighbors)
reg.fit(X_train,y_train)
ax.plot(line,reg.predict(line))
ax.plot(X_train,y_train,'^',c=mglearn.cm2(0),markersize=8)
ax.plot(X_test,y_test,'v',c=mglearn.cm2(1),markersize=8)
ax.set_title(
"{} neighbor(s)\n train score:{:.2f} \n test score:{:.2f}".format(
n_neighbors,
reg.score(X_train,y_train),
reg.score(X_test,y_test)
)
)
output_14_0
从图中可以看出：
- k=1时，训练集中的每一个点都对预测结果有显著影响，预测结果的图像经过所有数据点。预测结果非常不稳定。（过拟合）
- k增大时，预测结果变更更加平滑，对训练数据的拟合也不好。
