首页 > 其他 > 详细

ML-Review-Adaboost

时间:2020-05-10 14:13:39      阅读:42      评论:0      收藏:0      [点我收藏+]

串行生成,只适用二分类(做回归用别的更新公式?)

工作机制:

  • 先从初始训练集中学习一个基学习器
  • 根据基学习器的表现对训练样本分布进行调整,做错的提高权重,对的降低权重
  • 基于调整后的样本分布来训练下一个基学习器
  • 如此反复,直到基学习器数目达到T,最终将这T个基学习器进行加权结合

对训练样本分布调整,主要是通过增加误分类样本的权重,降低正确分类样本的权重。

面临两个问题:

(1)在每一轮,如何改变训练数据的概率分布或者权值分布。(也可以重采样,但是AdaBoost没这么做)

(2)如何将弱分类器组合成强分类器

AdaBoost的做法:

(1)提高分类错误的的权重,降低正确的权重

(2)采用加权多数表决,加大分类错误率低的分类器的权值,使其在表决中起较大作用

弱分类器被线性组合成为一个强分类器。

最小化损失函数:

  • 分类器权重更新公式
  • 样本权重更新公式
  • 加性模型,最小化损失函数

 

优缺:不改变所给的训练数据,而不断改变训练数据的权值分布,使得训练数据在基本分类器的学习中起不同的作用。

控制迭代次数可防止过拟合

对异常敏感,噪声大的会获得高权重

 

ML-Review-Adaboost

原文:https://www.cnblogs.com/A-lam/p/12862890.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!