决策树的建立

构建一个简单的决策树

  • 先导入库
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sb

from PIL import Image
  • 读取数据
# 数据读取
iris_data = pd.read_csv('iris.csv')
print(iris_data.head())
print(iris_data.describe())                         # 查看统计指标

运行结果为:

  • 画图操作
# 显示鸢尾花图片
img = Image.open('test.jpeg')
plt.imshow(img)
plt.show()

sb.pairplot(iris_data.dropna(), hue='Species')      # 查看两两特征之间的关系
plt.show()    

plt.figure(figsize=(10,10))
for columns_index, column in enumerate(iris_data.columns):
    if column == 'Species':
        continue
    plt.subplot(2, 2, columns_index + 1)            # 定义子图
    sb.violinplot(x='Species', y=column, data=iris_data)
plt.show()

运行结果为:



  • 构建决策树
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

# 定义输入和类型
all_inputs = iris_data['Sepal.Length', 'Sepal.Width', 'Petal.Length', 'Petal.Width'].values
all_classes = iris_data['Species'].values

# 交叉验证
(training_inputs, testing_inputs,
 training_classes, testing_classes) = train_test_split(all_inputs, all_classes,
                                                       train_size=0.75, random_state=1)

''' 参数设置  '''

# 1.criterion gini or entropy
# 评判标准:基尼系数或者熵

# 2.splitter best or random
# 在特征中找最好的切分点或者随机选取

# 3.max_features
# None(all), log2, sqrt, N   特征小于50时一般去所有

# 4.min_depth
# 数据少或者特征少时可以不管这个值,如果模型样本多,可以适当限制这个值

# 5.min_samples_split
# 如果某节点的样本数少于 min_samples_split,则不会继续再尝试选择最优特征来进行划分
# 如果样本不大,不需要管这个值。如果样本数量级非常大,建议增大这个值

# 6.min_samples_leaf
# 这个值限制了特兹节点最少的样本数,如果某叶子节点数目小于样本数,则会和兄弟节点一起呗剪枝
# 如果样本量不大,不需要管这个值,大些如10万可以尝试下5

# 7.min_weight_fraction_leaf
# 这个值限制了叶子节点所有样本权重和最小值,如果小于这个值,则会和兄弟节点一起被剪枝默认为0,就是不考虑权重问题
# 一般来说,如果我们有较多样本有缺失值,或者分类树样本的分布类别偏差很大,就会引入样本权重,这是要注意这个值

# 8.max_leaf_nodes
# 通过限制最大叶子节点数,可以防止过拟合,默认是'None',即不限制最大的叶子节点数
# 如果加了限制,算法会简历在最大叶子节点数内最优的决策树
# 如果特征不多,可以不考虑这个值,但是如果特征成分多的话,可以加限制
# 具体的值可以通过交叉验证得到

# 9.class_weight
# 指定样本各类别的权重,主要是为了防止训练集某些类别的样本过多,导致尊练的决策树过于偏向这些类别
# 这里可以自己指定各个样本的权重,如果使用'balanced',则算法会自己计算权重,样本最少的类别所对应的样本权重会高

# min_inpurity_split
# 这个值限制了决策树的增长,如果某杰底单的不纯度(基尼系数,信息增益,均方差,绝对值)小于这个阈值
# 则节点不再生成子节点,即为叶子节点


# 建立决策树
decision_tree_classifier = DecisionTreeClassifier()

# 在训练集上训练分类器
decision_tree_classifier.fit(training_inputs, training_classes)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容