回归树和决策树在很多方面相似,因而大多数参数是一样的,但是需要注意的是,回归树中没有class_weight这样的参数.

决策树

sklearn中的决策树的类在tree这个模块之下.

Decision Tree Regressor类

class sklearn.tree.DecisionTreeRegressor(criterion='mse', splitter='best', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, presort='deprecated', ccp_alpha=0.0)

一般参量

criterion:{“mse”, “friedman_mse”, “mae”}, default=”mse”

注意这与classifier有所差别

• MSE:均方误差,最小化所有testcase的预测误差的L2损失的算术平均
• friedman_mse:弗里德曼-均方误差
• MAE:绝对误差,最小化所有testcase的预测误差的L1损失算数平均

random_state:int or RandomState, default=None

可以设定成随机状态的种子或者随机数生成器

splitter{"best", "random"}, default="best"

选取策略:(最佳分支/最佳随机分支)

• best:优先选择更重要的特征
• random:分支的时候更随机,更深,适度降低拟合以防止过拟合

sklearn.tree.DecisionTreeRegressor建树的机理是:既然不能够保证根结点的划分最好,整棵树的划分就最好(不具有贪心算法/不具有局部最优推出总体最优的性质).那么,每次都选取若干个特征,取最好生成,然后对一个数据集重复很多很多遍,在生成树中取最好的一棵返回.这也是为什么多跑几遍score也会不一样

• 所以说指定seed也可以得到相同的数.
• 注意到这个随机算法对不随机在高维上优势更明显.注意到低维度的数据基本上随机性不会显现.

剪枝参量

max_depth:int, default=None

最大深度(默认为不设最大深度)

max_depth是最常被用的剪枝参量之一,esp在高维度低样本量的时候

min_samples_split:int or float, default=2

一个非叶子节点需要的最小样本数量

• 整数:样本的个数
• 浮点:占输入模型数据的比重

min_samples_leaf:int or float, default=1

一个叶子节点需要的最小样本数量

• 整数:样本的个数
• 浮点:占输入模型数据的比重

以上几个参数经常在回归树中搭配使用

max_features:int, float or {“auto”, “sqrt”, “log2”}, default=None

最佳分支时考虑的特征个数
计参数为mf,总特征为nf个

• 整数:分支时考虑 mf 个特征
• 浮点:考虑为比例,nf*mf个
• auto或者sqrt 个
• log2 个
• none nf个

max_leaf_nodes:int, default=None

最大叶节点数

min_impurity_decrease:float, default=0.0

只考虑生成节点带来的混乱度下降的值大于参数的结点

min_impurity_split:float, default=1e-7

结点的最小乱度

ccp_alpha:non-negative float, default=0.0

在树剪枝过程中minimize cost function中的参数

重要属性和接口

暂不完全收录,以后要用可以跳转官网可以查询

apply(self, X[, check_input])

apply(Xtrain,Ytrain)返回训练样本所在的叶子结点的索引

predict(self, X[, check_input])

pridict(Xtrain,Ytrain)用来输出对Xtrain跑这个算法的预测值也就是分类/回归结果

fit(self, X, y[, sample_weight, …])

fit(Xtrain,Ytrain)用来训练算法

score(self, X, y[, sample_weight])

score(Xtrain,Ytrain)表示算法在训练集的accuracy
注意以上四个接口一定要传入(,)

建模过程的区别

• 注意到回归树的接口返回的是R平方

这其中u是残差平方行和,v是总平方和(y的样本方差*(n-1)),n是样本数量.

• sk-learn中,考虑到误差的性质,计算的是均方误差的相反数负均方误差(neg_mean_squared_error)

波士顿房价数据集

from sklearn.datasets import load_boston
boston = load_boston()
boston
boston.feature_names
boston.target
boston.data

连续性数据不能单独用分类型评估其进行评估.

回归树

交叉验证:观察模型稳定性的方法.将数据划分成n分,用n-1份进行训练,n份进行测试.多次计算模型水平取平均,这是对模型效果的一个更好的量度.

本质上是一种分散风险策略.

from sklearn.model_selection import cross_val_score
from sklearn.tree import DecisionTreeRegressor
regressor = DecisionTreeRegressor(random_state=0)#对模型实例化
cross_val_score(regressor,boston.data,boston.target,cv=10
#scoring = "neg_mean_square_error"
)#交叉验证成果
#注意这里要给完整的$X$和$Y$让分类器自己去分

实例:一维回归图像绘制

1. 导入库,这里一般用np库和plt库

import numpy as np##生成数据点
from sklearn.tree import DecisionTreeRegressor##回归树
import matplotlib.pyplot as plt##绘图

2. 创建一条含有噪声的曲线
   1 考虑一个区间,在区间上创建一组随机的数

rng = np.random.RandomState(1)#种子
X  = np.sort(5 * rng.rand(80,1),axis=0)
#np.random.rand(数据结构)：随机生成随机数 可以用（length，height）表示矩阵
#sort可以对其排序

2 考虑正弦函数,把这一组x放到sin函数中生成y

y = np.sin(X).ravel()
#生成y并且将其降为1维且格式化
#python中的一维数组就是一维度,不能理解成一行/列的矩阵

3 给y添加一些噪声,生成最终的数据集

y[::5] += 3 * (0.5 - rng.rand(16))
#增加噪声在y数组每隔5步增加噪声，并且放大效果

3 建立模型

#这里建立两个模型
regrs_1 = DecisionTreeRegressor(max_depth = 2)
regrs_2 = DecisionTreeRegressor(max_depth = 5)
regr_1.fit(X,y)
regr_2.fit(X,y)

4 导入和预测

X_test = np.arange(0.0,5.0,0.01)[:,np.newaxis]
y_1 = regrs_1.predict(X_test)
y_2 = regrs_2.predict(X_test)

np.arrange(开始点,结束点,步长)取出值

[:,np.newaxis]类切片,进行增维

[np.newaxis,:]类切片,进行增维,是上一个的转置

5 绘图

plt.figure()
plt.scatter(X, y, s=20, edgecolor='black',c='darkorange',label='data')
plt.plot(X_test, y_1, color='cornflowerblue', label='maxdepth = 2',linewidth=2)
plt.plot(X_test, y_2, color='yellowgreen', label='maxdepth = 5',linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Decision Tree Regression")
plt.legend()
plt.show()

max_depth太大,容易被噪声影响,过拟合.
max_depth太小,容易缺乏信息,欠拟合.

Python机器学习库scikit-learn笔记(一)(决策树相关)2020-03-07
Decision Tree Regression