我们将在这一篇中选择一些在学术和工业界很受欢迎并且很强大的机器学习算法。同时，我们会学习不同监督学习算法的区别，并且我们会用直观地方法展示他们的优缺点。并且，我们将初步接触到一个提供用户友好界面使得算法更加有效的python库——scikit-learn。

选择一个分类算法

对于一个需要练习的特殊分类任务选择一个分类算法:在一个确定的假设中，每个算法都有自己的巧妙之处。为了重申"No Free Lunch"理论:没有一个单独的分类算法可以再所有问题上最优秀。在实际中，推荐的方法是对于特殊问题，比较少数几个不同的学习算法去选择一个最好的模式，在不同的特征，例子和数据集的噪声，或是否这个类是线性可分，他们有可能不同。

最终，分类器的表现，计算能力，预测能力很大一部分决定于为学习提供的基础的数据。这里总结了训练机器学习算法的五个主要步骤》
1，特征选择
2，选择一个表现标准度量
3，选择一个分类器和最优算法
4，计算这个模式的表现
5，调节这个算法

使用scikit-learn的第一步
上一篇博客，我们学习了perceptron和 Adaline,并且我们自己用python实现了它。现在，我们将看一下在scikit-learn这个混合了用户友好界面的几个分类算法的最优实现方法的API中怎么使用。

通过scikit-learn训练一个Perceptron

为了简单这个问题，我们继续使用之前已经熟悉的Iris数据库。并且为了可视化，我们将只是用鸢尾花的两个特征。
我们将分配150个样例的花瓣长度和花瓣宽度给特征矩阵X，并且匹配的类标签（花的种类）为向量y：
´´´
from sklearn import datasets
import numpy as np

iris = datasets.load_iris()
X = iris.data[:, [2, 3]]
y = iris.target
print iris
print X
print y

´´´
如果我们执行np.unique（y）去返回一个存储在iris.target中不同的类标签，我们将会看到鸢尾花的类名，Iris-Setosa, Iris-Versicolor, 和 Iris-Virginica，这些已经被整数化存储（0，1，2）。
为了计算训练模式的表现在不可见的数据上，我们将进一步的分离这个数据到训练数据集和测试数据集：

from sklearn.cross_validation import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

使用 sklearn库中cross_validation模块的 train_test_split 函数，我们随机地分开X和y数组到30%的测试数据和70%的训练数据。
许多机器学习和最优化算法为了最优表现形式经常需要特征缩放，比如说梯度下降法。接下来，我们会使用来自scikit-learn库中preprocessing模块的StandardScaler来标准化特征：
´´´
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
sc.fit(X_train)
X_train_std = sc.transform(X_train)
X_test_std = sc.transform(X_test)
print X_test_std
´´´
使用上述代码，我们从preprocessing模块加载了StandardScaler类，并且初始化了一个新的StandardScaler对象分配给了变量sc 。使用 fit方法，StandardScaler计算了参数μ（例子的均值）和σ（标准差）在训练数据集的每个特征维度。通过调用transform方法，我们使用计算出的参数μ 和 σ标准化了这个训练数据集。注意，我们使用了相同的缩放参数去标准化这个测试数据集，这样训练样本和测试样本的两个数据值都可以彼此对比。

有了这个标准化的训练数据，我们现在可以训练我们的perceptron模型。在scikit-learn很多算法已经支持了默认多类分类通过这个One-vs.-Rest (OvR)方法，这也允许我们去同时满足我们的perceptron分类三种花。代码如下：
´´´
from sklearn.linear_model import Perceptron
ppn = Perceptron(n_iter=40, eta0=0.1, random_state=0)
ppn.fit(X_train_std, y_train)

´´´
Scikit-learn 界面提醒我们关于我们前一章中实现的Perceptron，我们初始化了一个新的Perceptron对象，并且训练这个模型通过fit方法。这里，这个学习率eta0等于我们自己实施Perceptron过程中的学习率eta，并且这个参数n_iter定义了一个迭代次数。正如上一张所讲，发现一个合适的学习率需要一定的经验，如果学习率过大，这个算法就会越过损失函数的全局最小值，如果过小，这个算法就需要迭代很多次，直到收敛，这会导致学习变慢，尤其是对于大规模数据。并且，我们使用random_state参数在每次迭代中去再生产一个初始的训练数据集的洗牌。

在scikit-learn中有这样一个训练模型，我们可以通过predict模块来做预测，就像我们上一章学习到的Perceptron。代码如下：

y_pred = ppn.predict(X_test_std)
print('Misclassified samples: %d' % (y_test != y_pred).sum())

我们执行这个代码后，可以看到在45个花的样本中这个perceptron的错误分类是4.因此，在数据集中这个错误分类率是8.9%（4 / 45 ≈ 0.089）。为了表示机器学习模型的正确率，我们也常用accuracy来表示，计算如下：
1 - misclassification error = 0.911 or 91.1 percent.
Scikit-learn 通过metrics模块也实现了一个多种不同的表现矩阵。例如，我们能够计算出这个Perceptron在测试集上分类的正确性，代码如下
´´´
from sklearn.metrics import accuracy_score
print('Accuracy: %.2f' % accuracy_score(y_test, y_pred)
´´´
在这里，y_test是一个正确的类标签，y_pred是我们之前预测的类标签。
最后没我们可以使用我们的 plot_decision_regions函数，给我们的新训练的Perceptron模型去绘制一个决策区域，并且可视化它是怎样分开这些样例的。不管怎样，让我们来添加一个小的修正用小圆圈给来自测试数据集的样例加亮。

from matplotlib.colors import ListedColormap
import matplotlib.pyplot as plt

def plot_decision_regions(X, y, classifier,test_idx=None, resolution=0.02):
    # setup marker generator and color map
   markers = ('s', 'x', 'o', '^', 'v')
   colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')
   cmap = ListedColormap(colors[:len(np.unique(y))])
   # plot the decision surface
   x1_min, x1_max = X[:, 0].min() - 1, X[:, 0].max() + 1
   x2_min, x2_max = X[:, 1].min() - 1, X[:, 1].max() + 1
   xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution),np.arange(x2_min, x2_max, resolution))
   Z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)
   Z = Z.reshape(xx1.shape)
   plt.contourf(xx1, xx2, Z, alpha=0.4, cmap=cmap)
   plt.xlim(xx1.min(), xx1.max())
   plt.ylim(xx2.min(), xx2.max())
   # plot all samples
   X_test, y_test = X[test_idx, :], y[test_idx]
   for idx, cl in enumerate(np.unique(y)):
       plt.scatter(x=X[y == cl, 0], y=X[y == cl, 1],alpha=0.8, c=cmap(idx),marker=markers[idx], label=cl)
   # highlight test samples
   if test_idx:
       X_test, y_test = X[test_idx, :], y[test_idx]
       plt.scatter(X_test[:, 0], X_test[:, 1], c='',alpha=1.0, linewidth=1, marker='o',s=55, label='test set')

X_combined_std = np.vstack((X_train_std, X_test_std))
y_combined = np.hstack((y_train, y_test))
plot_decision_regions(X=X_combined_std,y=y_combined,classifier=ppn,test_idx=range(105,150))
plt.xlabel('petal length [standardized]')
plt.ylabel('petal width [standardized]')
plt.legend(loc='upper left')
plt.show()

我们在结果图可以看到，这三种花的类不能通过线性决策边界完美地分开。
回顾第二章的讨论，Perceptron算法不能收敛在非线性分类的数据集上，这也就是Perceptron在实际应用中很不推荐的原因。接下来的部分，会学习到即使分类没有完美地线性分开，而能更强大的可以回归到损失最小的线性分类器。

模式化一个类的概率用logistic regression

尽管这个perceptron规则提供了一个好的易运行的介绍在分类机器学习算法中，但是他最大的不足之处在于不能完美地在非线性数据上分开