首页 > 其他 > 详细

数据挖掘实践(48):决策树计算过程实例(二)CART回归树及其实战

时间:2021-06-04 22:33:32      阅读:24      评论:0      收藏:0      [点我收藏+]

来源:https://blog.csdn.net/huahuaxiaoshao/article/details/86183738

1.CART简介 

  分类与回归树(classification and regression tree,CART)模型由Breiman等人在1984年提出,是应用广泛的决策树学习方法。CART同样由特征选择而、树的生成及剪枝组成,既可以用于分类也可以用于回归。

2.基本概念 

CART假设决策树是二叉树,内部结点特征的取值为“是”和“否”,左分支是取值为“是”的分支,右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征,将输入空间即特征空间划分为有限个单元,并在这些单元上确定预测的概率分布,也就是在输入给定的条件下输出的条件概率分布。
      CART算法由以下两步组成:
      (1)决策树的生成:基于训练数据集生成决策树,生成的决策树要尽量大(大是为了更好地泛化);
      (2)决策树剪枝:用验证数据集对已生成的树进行剪枝并选择最优子树,这时损失函数最小作为剪枝的标准。

3.CART树生成

3.1回归树的生成
      在训练数据集所在的输入空间中,递归地将每个区域划分为两个子区域并决定每个子区域上的输出值,构建二叉决策树。
      (1)选择最优切分变量j与切分点s,求解
技术分享图片

 

       遍历变量j,对固定的切分变量j扫描切分点s,选择使上式达到最小值的对(j,s)j。
      (2)用选定的对(j,s)划分区域并决定响应的输出值:

技术分享图片

 

 技术分享图片

 

 3.2回归树生成的例子

技术分享图片

 

    当s=1.5时

技术分享图片

 

 技术分享图片

 

 技术分享图片

 

 技术分享图片

 

技术分享图片

 

  回归树使用最大均方差划分节点;每个节点样本的均值作为测试样本的回归预测值。

 

数据挖掘实践(48):决策树计算过程实例(二)CART回归树及其实战

原文:https://www.cnblogs.com/qiu-hua/p/14851247.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!