K-近邻算法，(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。
所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。
scikit-learn内置了一些数据集，其中有个比较经典的鸢尾花数据集(iris)，我们可以用它来体验一下KNN分类。
这个数据集有150条鸢尾花数据，鸢尾花一共有三种分类，我们的任务是根据鸢尾花数据的特征，判别出它是哪种类型的鸢尾花。
加载iris数据集
from sklearn.datasets import load_iris
iris = load_iris()
print(iris.data[:5])
输出前5条数据：
[[5.1 3.5 1.4 0.2]
[4.9 3. 1.4 0.2]
[4.7 3.2 1.3 0.2]
[4.6 3.1 1.5 0.2]
[5. 3.6 1.4 0.2]]
预处理：标准化
KNN会对所有特征计算做加和，而不同特征的值空间差异可能很大，如果直接相加，其结果将会被大值特征主导，而小值特征却影响甚小，无法体现特征的平等。因此KNN一般都需要进行标准化。
from sklearn.preprocessing import StandardScaler
# 对数据集进行标准化
std = StandardScaler()
data = std.fit_transform(iris.data)
separator.line("标准化后的数据")
print(data[:5])
输出标准化后的数据：
[[-0.90068117 1.03205722 -1.3412724 -1.31297673]
[-1.14301691 -0.1249576 -1.3412724 -1.31297673]
[-1.38535265 0.33784833 -1.39813811 -1.31297673]
[-1.50652052 0.10644536 -1.2844067 -1.31297673]
[-1.02184904 1.26346019 -1.3412724 -1.31297673]]
划分训练集与数据集
KNN其实是不需要训练的，但是为了统一术语，依然这么称呼划分的两个集。
把data和target拆成两个集，75%作为训练集，25%作为测试集：
from sklearn.model_selection import train_test_split
data_train, data_test, target_train, target_test \
= train_test_split(data, iris.target, test_size=0.25)
KNN分类
scikit-learn实现了KNN算法，默认K值为5，我们这里就使用默认值，意即取最邻近的5个样本的target作为分类结果。
from sklearn.neighbors import KNeighborsClassifier
knn = KNeighborsClassifier()
knn.fit(data_train, target_train)
评估准确率
KNN分类器也提供了准确率评估API，输入测试集数据与测试集目标，可以评估当前训练后(调用fit方法后)的knn：
score = knn.score(data_test, target_test)
print(score)
输出准确率。其结果每次运行都可能不一样，因为划分训练集与测试集每次都不一样：
0.9473684210526315
预测
调用predict方法，输出测试集数据，得出预测结果：
target_predict = knn.predict(data_test)
print(target_test)
print(target_predict)
输出：
****************************** 真实值 ******************************
[2 2 2 0 2 1 0 2 0 1 0 0 1 1 0 2 1 2 2 0 2 2 2 2 1 1 1 2 0 0 2 1 0 1 2 0 1 1]
****************************** 预测值 ******************************
[2 2 2 0 2 1 0 1 0 1 0 0 1 1 0 2 1 2 2 0 2 2 2 2 1 1 1 2 0 0 2 1 0 1 2 0 1 2]
这里，预测值与真实值大致相同。
源码
Github: KNN
