摘自《统计学习方法》 李航 第五章
决策树学习通常包括3个步骤：特征选择、决策树的生成、决策树的剪枝
决策树学习本质上是从训练集中归纳出一组分类规则。
决策树学习的损失函数通常是正则化的极大似然函数。
决策树的学习算法通常是采用启发式的方法，近似求解最优化问题
特征选择问题
特征选择在于选取对训练数据具有分类能力的特征。如果一个特征具有更好的分类能力，或者说，按照这一特征将训练数据集分割成子集，
使得各个子集在当前条件下有最好的分类，那么就更应该选择这个特征。
决策树的生成
ID3算法
ID3算法的核心是在决策树的各个节点上应用信息增益准则选择特征，递归的构建决策树。
缺点：ID3算法只有树的生成，所以该算法生成的树容易产生过拟合。
原文：https://www.cnblogs.com/zhibei/p/9074380.html