咱们有没有听说过 “三行代码行天下” 这句话

真的有这么强吗？

没错，你没有听错

python在数据处理建模这方面确实段位很高

那么，python中的最重要的配备之一便是“sklearn”

下面咱们就来看看sklearn是如何来实现决议计划树中的分类树的

本文目录：

1 概述

1.1sklearn中的决议计划树

2 DecisionTreeClassififier与红酒数据集

2.1 重要参数

2.1.1 criterion

2.1.2 random_state & splitter

2.1.3 剪枝参数

2.1.4 方针权重参数

2.2 重要特点和接口

1 概述

决议计划树（Decision Tree）是一种非参数的有监督学习办法，它能够从一系列有特征和标签的数据中总结出决议计划规 则

并用树状图的结构来呈现这些规则，以处理分类和回归问题。决议计划树算法简单理解，适用各种数据，在处理各 种问题时都有良好体现

特别是以树模型为中心的各种集成算法，在各个职业和领域都有广泛的应用。

假如对决议计划树原理还不了解的，请看作者博客文章《机器学习-万字长文介绍决议计划树之原理（一）》

1.1sklearn中的决议计划树

在sklearn模块中决议计划树是sklearn.tree

sklearn中决议计划树的类都在”tree“这个模块之下。这个模块一共包括五个类：

​

在开端敲代码之前，咱们先看看sklearn建模的根本流程：

​

假如按照上图的流程，分类树的建模流程便是：

from sklearn import tree #导入需求的模块
clf = tree.DecisionTreeClassifier()   #实例化
clf = clf.fit(X_train,y_train) #用练习集数据练习模型
result = clf.score(X_test,y_test) #导入测验集，从接口中调用需求的信息

是不是只用了三行呢？！

下面咱们用一个具体的例子来讲解分类树

2 DecisionTreeClassififier与红酒数据集

咱们先看看分类树的参数：

​

是不是傻眼了？这么多，看到都脑阔疼。

没关系，接下来咱们挑选其间重要的参数合作实践的例子来讲清楚。

2.1 重要参数

2.1.1 criterion

为了要将表格转化为一棵树，决议计划树需求找出最佳节点和最佳的分枝办法，对分类树来说，衡量这个“最佳”的目标 叫做“不纯度”。

一般来说，不纯度越低，决议计划树对练习集的拟合越好。现在运用的决议计划树算法在分枝办法上的中心 大多是环绕在对某个不纯度相关目标的最优化上。

不纯度根据节点来核算，树中的每个节点都会有一个不纯度，而且子节点的不纯度必定是低于父节点的，也便是 说，在同一棵决议计划树上，叶子节点的不纯度必定是最低的。

Criterion这个参数正是用来决议不纯度的核算办法的。sklearn供给了两种挑选：

1）输入”entropy“，运用信息熵（Entropy）

2）输入”gini“，运用基尼系数（Gini Impurity）

​

其间t代表给定的节点，i代表标签的任意分类， 代表标签分类i在节点t上所占的份额。

留意，当运用信息熵 时，sklearn实践核算的是根据信息熵的信息增益(Information Gain)，即父节点的信息熵和子节点的信息熵之差。

比起基尼系数，信息熵对不纯度愈加灵敏，对不纯度的惩罚最强。

可是在实践运用中，信息熵和基尼系数的作用基 本相同。

信息熵的核算比基尼系数缓慢一些，由于基尼系数的核算不涉及对数。

另外，由于信息熵对不纯度愈加灵敏，所以信息熵作为目标时，决议计划树的成长会愈加“精细”

因而关于高维数据或许噪音很多的数据，信息熵很简单 过拟合，基尼系数在这种情况下作用往往比较好。

当模型拟合程度缺乏的时分，即当模型在练习集和测验集上都表 现不太好的时分，运用信息熵。当然，这些不是肯定的。

​

到这儿，决议计划树的根本流程其实能够简单归纳如下：

​

下面咱们真的要开端上代码了，一般大多数讲决议计划树的教程都会用鸢尾花(iris)数据集

可是用这个数据集不太好，原因是有一个参数不能够用这个数据集很清楚的介绍，下面咱们会讲到

所以本文用的是红酒数据集

首要，要确保你的核算机上有机器学习的环境，假如没有，请看作者文章《机器学习-环境配置（windows版）》

然后咱们打开cmd，输入指令：

jupyter lab

新建一个”.ipynb”文件预备敲代码

第一步：导入所需求的包

from sklearn import tree
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split

第二步：检查数据

咱们先来看看这个红酒数据集究竟是什么姿态的

wine = load_wine()
wine.data.shape

​

解释一下：这是说这个数据集有178行，13列

wine.target

​

解释一下：这是说这个数据会集的标签有三种，0，1和2，也便是这些红酒被分成了三类。

import  pandas as pd
pd.concat([pd.DataFrame(wine.data),pd.DataFrame(wine.target)],axis=1)#第一个参数是将两个DataFrame兼并，axis默许为0，是纵向兼并，为1是横向兼并

​

解释一下：这儿是将红酒特点数据集和标签列进行了横向链接（也叫兼并，学过数据库的都知道）

wine.feature_names

​

解释一下：这是红酒的特点姓名

wine.target_names

​

解释一下：这是标签姓名，也便是分类的姓名

Xtrain,Xtest,Ytrain,Ytest=train_test_split(wine.data,wine.target,test_size=0.3)

解释一下：这儿是说将数据集分为练习集和测验集，其间70%为练习集，30%为测验集。

Xtrain.shape

​

解释一下：练习集有124个样本，13个特点

Xtest.shape

​

解释一下：练习集有54个样本，13个特点

Ytrain

​

这是说练习集的方针特点，有三种，为0，1，2

第三步：建立模型（三行代码行天下）

clf = tree.DecisionTreeClassifier(criterion="entropy")
clf = clf.fit(Xtrain,Ytrain)
score = clf.score(Xtest,Ytest)#返回猜测的精确accuracy
score

​

解释一下：模型得分0.9259，还算不错。

第四步：画出这棵树

feature_name = ['酒精','苹果酸','灰','灰的碱性','镁','总酚','类黄酮','非黄烷类酚类','花青素','颜 色强度','色调','od280/od315稀释葡萄酒','脯氨酸']
import graphviz 
dot_data = tree.export_graphviz(clf,out_file = None,feature_names= feature_name,class_names=["琴酒","雪莉","贝尔摩德"],filled=True,rounded=True) 
graph = graphviz.Source(dot_data)
graph

​

解释一下：上图便是决议计划树选出的一些特点，运用这些特点建立的分类树。

那么咱们能不能将每个特点的重要性打印出来呢？回答是能够的

#特征重要性
clf.feature_importances_
[*zip(feature_name,clf.feature_importances_)]

​

是不是不行直观，是由于咱们还是无法知道哪个特点对应的重要性的数值。

[*zip(feature_name,clf.feature_importances_)]

​

是不是直观多了呢

到这儿，你是不是一位咱们的作业完成了呢？

当然没有，这只是开端呢，咱们还有更重要的作业要做。

多次运行上述建模代码，你会发现score的值每次都不相同。

那么它为什么会不稳定呢？是不是对一切数据集都这样呢？

这是由于决议计划树模型的的核算步骤中，

不纯度是根据节点来核算的，也便是说，决议计划树在建树时，是靠优化节点来寻求一棵优化的树

但最优 的节点能够确保最优的树吗？

这是个问题，可是集成算法处理了这个问题

sklearn表明，已然一棵树不能确保最优，那就建更 多的不同的树，然后从中取最好的。

怎样从一组数据会集建不同的树？

在每次分枝时，不从运用悉数特征，而是随 机选取一部分特征，从中选取不纯度相关目标最优的作为分枝用的节点。

这样，每次生成的树也就不同了。

2.1.2 random_state & splitter

clf = tree.DecisionTreeClassifier(criterion="entropy",random_state=30)
clf = clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest, Ytest) #返回猜测的精确度
score

​

解释一下：这儿的score会固定在0.925，不论你运行多少遍，它都不会变，由于每次都是挑选的最优的树。

random_state用来设置分枝中的随机形式的参数，默许None

在高维度时随机性会体现更显着，低维度的数据 （比如鸢尾花数据集），随机性几乎不会闪现。

关于鸢尾花数据集，输入任意整数，会一向长出同一棵树，让模型稳定下来。由于这个数据集特点太少，数据的质量也太高了。

这也就回答了为什么本文没选用鸢尾花数据集。

splitter也是用来控制决议计划树中的随机选项的，有两种输入值

输入”best”，决议计划树在分枝时虽然随机，可是还是会 优先挑选更重要的特征进行分枝（重要性能够经过特点feature_importances_检查）

输入“random”，决议计划树在 分枝时会愈加随机，树会由于含有更多的不必要信息而更深更大，并因这些不必要信息而下降对练习集的拟合。

这 也是防止过拟合的一种方式。当你猜测到你的模型会过拟合，用这两个参数来协助你下降树建成之后过拟合的或许 性。

当然，树一旦建成，咱们依然是运用剪枝参数来防止过拟合。

咱们来试验一下：

clf = tree.DecisionTreeClassifier(criterion="entropy",random_state=30 ,splitter="random")
clf = clf.fit(Xtrain, Ytrain) 
score = clf.score(Xtest, Ytest)
score

​

解释一下：咱们得到的分数是0.944

咱们将图画出来看看

import graphviz
dot_data = tree.export_graphviz(clf,feature_names= feature_name,class_names=["琴酒","雪莉","贝尔摩德"],filled=True,rounded=True ) 
graph = graphviz.Source(dot_data)
graph

​

解释一下：怎样样，是不是咱们得到的树愈加大愈加啊深呢！

2.1.3 剪枝参数

在不加约束的情况下，一棵决议计划树会成长到衡量不纯度的目标最优，或许没有更多的特征可用为止。

这样的决议计划树 往往会过拟合，这便是说，它会在练习集上体现很好，在测验集上却体现糟糕 。

咱们搜集的样本数据不或许和全体 的情况完全一致，因而当一棵决议计划树对练习数据有了过于优秀的解释性

它找出的规则必然包括了练习样本中的噪 声，并使它对未知数据的拟合程度缺乏。

不相信？咱们来看看 咱们现在模型：

#咱们的树对练习集的拟合程度如何？
score_train = clf.score(Xtrain, Ytrain)
score_train

​

解释一下：看看，是不是咱们的模型对练习集作用太好了啊，这很简单造成过拟合。

那怎样来处理这个问题呢？

当咱们养一盆植物的时分，当这个植物比较马虎的时分，咱们怎样办呢？是不是要剪枝啊！

为了让决议计划树有更好的泛化性，咱们要对决议计划树进行剪枝。

剪枝策略对决议计划树的影响巨大，正确的剪枝策略是优化 决议计划树算法的中心。

sklearn为咱们供给了不同的剪枝策略：

max_depth ：

约束树的最大深度，超越设定深度的树枝悉数剪掉 这是用得最广泛的剪枝参数，在高维度低样本量时十分有效。

决议计划树多成长一层，对样本量的需求会增加一倍，所 以约束树深度能够有效地约束过拟合。

在集成算法中也十分实用。实践运用时，主张从=3开端测验，看看拟合的效 果再决议是否增加设定深度。

min_samples_leaf & min_samples_split ：

min_samples_leaf限定，一个节点在分枝后的每个子节点都有必要包括至少min_samples_leaf个练习样本，不然分 枝就不会产生

或许，分枝会朝着满足每个子节点都包括min_samples_leaf个样本的方向去产生 一般调配max_depth运用

在回归树中有神奇的作用，能够让模型变得愈加滑润。

这个参数的数量设置得太小会引 起过拟合，设置得太大就会阻挠模型学习数据。

一般来说，主张从=5开端运用。假如叶节点中含有的样本量改变很 大，主张输入浮点数作为样本量的百分比来运用。

一起，这个参数能够确保每个叶子的最小尺度，能够在回归问题 中避免低方差，过拟合的叶子节点呈现。关于类别不多的分类问题，取1一般便是最佳挑选。

min_samples_split限定，一个节点必需要包括至少min_samples_split个练习样本，这个节点才允许被分枝，不然分枝就不会产生。

咱们来看个例子吧：

clf=tree.DecisionTreeClassifier(criterion="entropy",random_state=30,splitter="random",max_depth=3,min_samples_leaf=5,min_samples_split=5)
clf = clf.fit(Xtrain, Ytrain)
dot_data = tree.export_graphviz(clf,feature_names= feature_name,class_names=["琴酒","雪莉","贝尔摩德"],filled=True,rounded=True)
graph = graphviz.Source(dot_data)
graph

​

解释一下：max_depth=3,min_samples_leaf=5,min_samples_split=5，调查上面的图，你会发现，深度不超越3，分支后的每个结点的samples都不少于5，每个被分的结点的samples都不低于5。

那么咱们来看看作用怎样样

score = clf.score(Xtest, Ytest)
score

​

解释一下：树变得更简洁了，可是模型得分仍旧不错。

max_features & min_impurity_decrease ：

一般max_depth运用，用作树的”精修“ max_features约束分枝时考虑的特征个数，超越约束个数的特征都会被放弃。

和max_depth异曲同工， max_features是用来约束高维度数据的过拟合的剪枝参数

但其办法比较暴力，是直接约束能够运用的特征数量 而强行使决议计划树停下的参数

在不知道决议计划树中的各个特征的重要性的情况下，强行设定这个参数或许会导致模型学习缺乏。

假如希望经过降维的方式防止过拟合，主张运用PCA，ICA或许特征挑选模块中的降维算法。

min_impurity_decrease约束信息增益的大小，信息增益小于设定数值的分枝不会产生。

这是在0.19版本中更新的功用，在0.19版本之前时运用min_impurity_split。

承认最优的剪枝参数：

那具体怎样来确认每个参数填写什么值呢？

这时分，咱们就要运用确认超参数的曲线来进行判断了，继续运用咱们 现已练习好的决议计划树模型clf。

超参数的学习曲线，是一条以超参数的取值为横坐标，模型的度量目标为纵坐标的曲线，它是用来衡量不同超参数取值下模型的体现的线。

在咱们建好的决议计划树里，咱们的模型度量目标便是score。

import matplotlib.pyplot as plt
test = []
for i in range(10):
    clf = tree.DecisionTreeClassifier(max_depth=i+1,criterion="entropy",random_state=30,splitter="random")
    clf = clf.fit(Xtrain, Ytrain)
    score = clf.score(Xtest, Ytest)
    test.append(score)
plt.plot(range(1,11),test,color="red",label="max_depth")
plt.legend()
plt.show()

​

解释一下：横坐标为max_depth取值，纵坐标为score，从图中咱们能够看到，当max_depth取3的时分，模型得分最高。

那么，剪枝参数必定能够提升模型在测验集上的体现吗？

调参没有肯定的答案，一切都是看数据本身，嘿嘿

这么多参数，咱们要一个个画学习曲线吗？那不累死了？

这个问题我会在后续的文章中回答。

无论如何，剪枝参数的默许值会让树无尽地成长

这些树在某些数据集上或许十分巨大，对内存的耗费也十分巨 大。

所以假如你手中的数据集十分巨大，你现已猜测到无论如何你都是要剪枝的

那提早设定这些参数来控制树的 复杂性和大小会比较好。

2.1.4 方针权重参数

class_weight & min_weight_fraction_leaf：

完成样本标签平衡的参数。样本不平衡是指在一组数据会集，标签的一类天生占有很大的份额。

比如说，在银行要 判断“一个办了信用卡的人是否会违约”，便是是vs否（1%：99%）的份额。

这种分类情况下，即便模型什么也不 做，全把成果猜测成“否”，正确率也能有99%。

因而咱们要运用class_weight参数对样本标签进行必定的均衡，给少量的标签更多的权重，让模型更倾向少量类，向捕获少量类的方向建模。

该参数默许None，此形式表明主动给与数据会集的一切标签相同的权重。

有了权重之后，样本量就不再是单纯地记录数目，而是受输入的权重影响了

因而这时分剪枝，就需求调配min_ weight_fraction_leaf这个根据权重的剪枝参数来运用。

另请留意，根据权重的剪枝参数（例如min_weight_ fraction_leaf）将比不知道样本权重的标准（比如min_samples_leaf）更少倾向主导类。

假如样本是加权的，则运用根据权重的预修剪标准来更简单优化树结构，这确保叶节点至少包括样本权重的总和的一小部分。

2.2 重要特点和接口

特点是在模型练习之后，能够调用检查的模型的各种性质。

对决议计划树来说，最重要的是feature_importances_，能 够检查各个特征对模型的重要性。

sklearn中许多算法的接口都是类似的，比如说咱们之前现已用到的fifit和score，几乎对每个算法都能够运用。

除了这两个接口之外，决议计划树最常用的接口还有apply和predict。

apply中输入测验集返回每个测验样本地点的叶子节 点的索引，predict输入测验集返回每个测验样本的标签。

返回的内容一目了然而且十分简单，咱们感兴趣能够自己 下去试试看。

在这儿不得不提的是，一切接口中要求输入X_train和X_test的部分，输入的特征矩阵有必要至少是一个二维矩阵。 sklearn不接受任何一维矩阵作为特征矩阵被输入 。

假如你的数据确实只要一个特征，那有必要用reshape(-1,1)来给 矩阵增维；

假如你的数据只要一个特征和一个样本，运用reshape(1,-1)来给你的数据增维。

#apply返回每个测验样本地点的叶子节点的索引
clf.apply(Xtest)

​

解释一下：咱们拿到了每个样本地点的叶子节点的索引

#predict返回每个测验样本的分类/回归成果
clf.predict(Xtest)

​

解释一下：咱们拿到了每个样本的分类成果。

至此，咱们现已学完了分类树DecisionTreeClassififier和用决议计划树绘图（export_graphviz）的一切根底。

咱们讲解了决议计划树的根本流程，分类树的八个参数，一个特点，四个接口，以及绘图所用的代码。

八个参数：

Criterion，两个随机性相关的参数（random_state，splitter），五个剪枝参数（max_depth, min_samples_split，min_samples_leaf，max_feature，min_impurity_decrease）

一个特点： feature_importances_

四个接口： fifit，score，apply，predict

接下来，在不断的试验中，在各种数据集上进行实战，必定会变得愈加娴熟！

本文参考教程：菜菜的sk-learn课程

如有写的不合适，亦或是不精确的当地，望读者多包涵

假如咱们对上述内容有任何不理解的当地，能够留言，和毛同学共同讨论，一起进步！