对于分类回归树和lightgbm的理解

时间：2018-06-15 17:03:04 阅读：248 评论：0 收藏：0 [点我收藏+]

在分类回归树中之所以要先分类后回归的原因是，对于一般的线性回归是基于全部的数据集。这种全局的数据建模对于一些复杂的数据来说，其建模的难度会很大。所以我们改进为局部加权线性回归，其只利用数据点周围的局部数据进行建模，这样就简化了建模的难度，提高了模型的准确性。树回归也是一种局部建模的方法，其通过构建决策点将数据切分，在切分后的局部数据集上做回归操作。

比如在前面博客中提到的风险预测问题，其实就是在特征层面对于不同类型的用户分到了不同的叶子节点上。
例如我们用了时间作为特征，就将晚上开车多的用户分到了一类白天开车多的分成了另外一类，在危险区域开车比例高的分为一类，比例低分为另外一类。