机器学习

1、什么是机器学习？

机器学习算法分类又分为监督学习和无监督学习

• 监督学习

  定义：输入数据是由输入特征值和目标值所组成。函数的输出可以是一个连续的值(称为回归），或是输出是 有限个离散值（称作分类）

  算法：分类（ k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归、神经网络）

  ​ 回归（线性回归、岭回归）

• 无监督学习

  定义：输入数据是由输入特征值所组成

  算法：聚类（k-means）
  

2、机器学习算法

2.1、K-近邻算法(KNN)

2.1.1、算法介绍

• 定义： 1） 如果一个样本在特征空间中的k个最相似(特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别

  ​ 2）欧氏距离计算

  ​ 3）根据你的‘邻居’来判断你的属性

• 优点：简单，易于理解，易于实现，无需训练

• 缺点：1）懒惰算法，对测试样本分类时的计算量大，内存开销大

  ​ 2）必须指定K值，K值选择不当则分类精度不能保证（可以使用模型调优，超参数搜索）

• 应用场景：小数据场景，几千～几万样本，具体场景具体业务去测试

2.1.2、算法的API接口

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

• n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数

• algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)

2.1.3、模型选择与调优API

sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)

参数描述

• estimator：估计器对象
• param_grid：估计器参数(dict){“n_neighbors”:[1,3,5]}
• cv：指定几折交叉验证

属性描述

• fit：输入训练数据
• score：准确率
• bestscore:在交叉验证中验证的最好结果
• bestestimator：最好的参数模型
• cvresults:每次交叉验证后的验证集准确率结果和训练集准确率结果

2.2、朴素贝叶斯分类算法

2.2.1、算法介绍

• 定义： 条件概率、联合概率计算方式与特征独立的关系去预测

• 优点：1）朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。

  ​ 2）对缺失数据不太敏感，算法也比较简单，常用于文本分类。

  3）分类准确度高，速度快

• 缺点：由于使用了样本属性独立性的假设，所以如果特征属性有关联时其效果不好

2.2.2、算法的API接口

sklearn.naive_bayes.MultinomialNB(alpha = 1.0)

• alpha：拉普拉斯平滑系数

2.3、决策树算法

2.3.1、算法介绍

• 定义：通过多层特征，并且选择特征有优先级

• 优点：简单的理解和解释，树木可视化

• 缺点： 决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合

  ​ （使用随机森林树解决，相当于KNN算法使用模型调优）

2.3.2、算法的API接口

sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)

• criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
• max_depth:树的深度大小
• random_state:随机数种子

2.4、随机森林算法

2.4.1、算法介绍

• 定义： 一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定

• 优点： 1）能够有效地运行在大数据集上，处理具有高维特征的输入样本，而且不需要降维

  ​ 2）在当前所有算法中，具有极好的准确率

  ​ 3）能够评估各个特征在分类问题上的重要性

2.4.2、算法的API接口

sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’, max_depth=None, bootstrap=True, random_state=None, min_samples_split=2)

• n_estimators：integer，optional（default = 10）森林里的树木数量
• criteria：string，可选（default =“gini”）分割特征的测量方法
• max_depth：integer或None，可选（默认=无）树的最大深度
• max_features： 默认"auto”,每个决策树的最大特征数量
• bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样
• min_samples_split:节点划分最少样本数
• min_samples_leaf:叶子节点的最小样本数

超参数：n_estimator, max_depth, min_samples_split,min_samples_leaf

2.5、逻辑回归算法

2.5.1、算法介绍

• 定义： 逻辑回归就是解决二分类问题的利器

2.5.2、算法的API接口

sklearn.linear_model.LogisticRegression(solver='liblinear', penalty=‘l2’, C = 1.0)

• solver:优化求解方式（默认开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数） sag：根据数据集自动选择，随机平均梯度下降
• penalty：正则化的种类
• C：正则化力度

2.6、线性回归算法

2.6.1、算法介绍

• 定义：利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式
• 过拟合：一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在测试数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂)
• 欠拟合：一个假设在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单)
• 上诉两个问题，引出岭回归算法解决

2.6.2、算法的API接口

正规方程

sklearn.linear_model.LinearRegression(fit_intercept=True)

• fit_intercept：是否计算偏置
• LinearRegression.coef_：回归系数
• LinearRegression.intercept_：偏置

梯度下降

sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)

• loss:损失类型 loss=”squared_loss”: 普通最小二乘法
• fit_intercept：是否计算偏置
• learning_rate : string, optional
  • 'constant': eta = eta0
  • 'optimal': eta = 1.0 / (alpha * (t + t0)) [default]
  • 'invscaling': eta = eta0 / pow(t, power_t)
  • 对于一个常数值的学习率来说，可以使用learning_rate=’constant’ ，并使用eta0来指定学习率。

2.7、岭回归算法

2.7.1、算法介绍

• 定义：岭回归，其实也是一种线性回归。只不过在算法建立回归方程时候，加上正则化的限制，从而达到解决过拟合的效果

2.7.2、算法的API接口

sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver="auto", normalize=False)

• alpha:正则化力度，也叫 λ （λ取值：0~1 1~10）
• solver:会根据数据自动选择优化方法， sag:如果数据集、特征都比较大，选择该随机梯度下降优化
• normalize:数据是否进行标准化， normalize=False:可以在fit之前调用preprocessing.StandardScaler标准化数据
• Ridge.coef_:回归权重
• Ridge.intercept_:回归偏置

2.8、k-means算法

2.8.1、算法介绍

• 定义：无监督学习，由于数据没有标签，没有目标值

2.8.2、算法的API接口

sklearn.cluster.KMeans(n_clusters=8,init=‘k-means++’)

• n_clusters:开始的聚类中心数量
• init:初始化方法，默认为'k-means ++’
• labels_:默认标记的类型，可以和真实值比较（不是值比较）

3、模型保存和加载

from sklearn.externals import joblib

• 保存：joblib.dump(rf, 'test.pkl')
• 加载：estimator = joblib.load('test.pkl')

4、算法评估

4.1、分类评估

• 评估方式：准确率, 精确率和召回率
• 评估API：sklearn.metrics.classification_report(y_true, y_pred, labels=[], target_names=None )
  • y_true：真实目标值
  • y_pred：估计器预测目标值
  • labels:指定类别对应的数字
  • target_names：目标类别名称
  • return：每个类别精确率与召回率

4.2 聚类评估

• 评估方式：轮廓系数
• 评估API：sklearn.metrics.silhouette_score(X, labels)
  • X：特征值
  • labels：被聚类标记的目标值