决策树（Decision Tree)是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树尤其在以数模型为核心的各种集成算法中表现突出。
开放平台：Jupyter lab
根据菜菜的sklearn课堂实效生成一棵决策树。
三行代码解决问题。
from sklearn import tree #导入需要的模块 clf = tree.DecisionTreeClassifier() #实例化 clf = clf.fit(X_train,Y_train) #用训练集数据训练模型 result = clf.score(X_test,Y_test) #导入测试集，从接口中调用所需要信息
利用红酒数据集画出一棵决策树。
从sklearn库中引入决策树、红酒数据集
from sklearn import tree from sklearn.datasets import load_wine from sklearn.model_selection import train_test_split
根据不纯度找出最佳节点和最佳的分歧方法。计算不纯度有两个指标：信息熵和基尼（Gini）指数。
例化决策树，DecisionTreeClassifier是分类树，DecisionTreeRegressor是回归树，tree.export_graphviz命令是将生成的决策树导出为DOT格式，画图专用。通常使用基尼系数，数据维数很大，噪声很大时使用基尼系数。维度低，数据比较清晰时，信息熵与基尼系数没区别。当决策树的拟合程度不够时，使用信息熵。
下面例化决策树，首先将数据分成训练集和测试集。
Xtrain,Xtest,Ytrain,Ytest = train_test_split(wine.data, wine.target, test_size = 0.3)
注意分类的顺序为XXYY
clf = tree.DecisionTreeClassifier(criterion = "entropy") clf = clf.fit(Xtrain, Ytrain) score = clf.score(Xtest, Ytest) #返回预测的准确度accuracy
我得到的分数为
效果还可以。
决策树在此时已经生成，但是不太直观，之后我们进行图像的绘制。将特征和类别命名。
feature_name = ["酒精","苹果酸","灰","灰的碱性","镁","总酚","类黄酮","非黄烷类酚类","花青素","颜色强度","色调","od280/od315稀疏葡萄酒","脯氨酸"]
import graphviz
dot_data = tree.export_graphviz(clf
,feature_names = feature_name
,class_names = ["琴酒","雪莉","贝尔莫得"]
,filled = True #填充颜色
,rounded = True #画出的方块无棱角
)
graph = graphviz.Source(dot_data)
graph
然后运行，我们就可以得到一棵树啦(*^▽^*)。
运行[*zip(feature_name,clf.feature_importances_)] 可以看到每个属性在分类时的比重。得到：
[(‘酒精‘, 0.03965653811434505),
(‘苹果酸‘, 0.02068204382894391),
(‘灰‘, 0.0),
(‘灰的碱性‘, 0.0),
(‘镁‘, 0.06068969686746859),
(‘总酚‘, 0.0),
(‘类黄酮‘, 0.061368064261131956),
(‘非黄烷类酚类‘, 0.0),
(‘花青素‘, 0.0),
(‘颜色强度‘, 0.08690808214504504),
(‘色调‘, 0.03270487272137427),
(‘od280/od315稀疏葡萄酒‘, 0.26633722918973335),
(‘脯氨酸‘, 0.4316534728719579)]
可以看到并不是所有的特征都发挥着作用，只有八个特征有比重，且比重最大为脯氨酸，其次是od280/od315稀疏葡萄酒。
random_state & splitter 参数 （可以防止过拟合)
random_state 用来设置分枝中的随机模式的参数，默认为None，在高维度时随机性会表现更明显，低维度数据随机性几乎不会显现。输入任意整数，会一直长出同一棵树，让模型稳定下来。
splitter也是用来控制决策树中的随机选项。"best"：决策树在分枝时虽然随机，但是还会优先选择更重要的特征进行分枝。"random"决策树在分枝时会更加随机，树会更深，对训练集的拟合度将会降低。
clf = tree.DecisionTreeClassifier(criterion = "entropy", random_state=10, splitter="random") clf = clf.fit(Xtrain, Ytrain) score = clf.score(Xtest, Ytest) #返回预测的准确度accuracy score
剪枝参数
max_depth 限制树的最大深度，建议从=3开始尝试。
min_samples_leaf 分枝会朝着满足每个子节点都包含min_samples_leaf个样本的方向发生，建议从=5开始。
min_samples_split 一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分枝，否则分枝就不会发生。
max_features 限制分枝时考虑的特征个数，超过限制个数的特征会被舍弃。但强行设定这个参数会使模型学习不足。
min_impurity_decrease 限制信息增益的大小，信息增益小于设定数值的分枝不会发生。0.19版本
原文：https://www.cnblogs.com/amberwang2018/p/11354153.html