决策树

认识决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

怎么理解这句话？通过一个对话例子

 想一想这个女生为什么把年龄放在最上面判断！！！！！！！！！

决策树分类原理详解

为了更好理解决策树具体怎么分类的，我们通过一个问题例子？

如何对这些客户进行分类预测？你是如何去划分？

有可能你的划分是这样的

 那么我们怎么知道这些特征哪个更好放在最上面，那么决策树的真是划分是这样的

原理

• 信息熵、信息增益等

信息熵

H的专业术语称之为信息熵，单位为比特

总结（重要）

• 信息和消除不确定性是相联系的

当我们得到的额外信息（球队历史比赛情况等等）越多的话，那么我们猜测的代价越小（猜测的不确定性减小）

问题： 回到我们前面的贷款案例，怎么去划分？可以利用当得知某个特征（比如是否有房子）之后，我们能够减少的不确定性大小。越大我们可以认为这个特征很重要。那怎么去衡量减少的不确定性大小呢？

决策树的划分依据之一------信息增益

定义与公式

特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：

 公式的详细解释：

 注：信息增益表示得知特征X的信息而息的不确定性减少的程度使得类Y的信息熵减少的程度

贷款特征重要计算

• 我们以年龄特征来计算：

决策树

原文：https://www.cnblogs.com/a155-/p/14387388.html