首页 > 其他 > 详细

机器学习基石笔记:11 Linear Models for Classification、LC vs LinReg vs LogReg、OVA、OVO

时间:2019-05-01 12:34:03      阅读:207      评论:0      收藏:0      [点我收藏+]

原文地址:https://www.jianshu.com/p/6f86290e70f9

一、二元分类的线性模型

技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片

线性回归后的参数值常用于PLA/PA/Logistic Regression的参数初始化。

二、随机梯度下降

两种迭代优化模式:

技术分享图片

若利用全部样本 ------> 利用随机的单个样本,则梯度下降 ------> 随机梯度下降。

技术分享图片

SGD与PLA的相似性:

技术分享图片
技术分享图片

当迭代次数足够多时,停止。步长常取0.1。

技术分享图片

三、使用逻辑回归的多分类问题

是非题 ------> 选择题:

技术分享图片

每次识别一类A,将其他类都视作非A类。

技术分享图片

结果出现问题。

技术分享图片

将是不是A类变为是A类的可能性。由硬分类变为了软分类。

技术分享图片

分别计算属于某类的概率,取概率值最大的类为最后的分类结果。

技术分享图片

OVA总结:
注意每次计算一类概率时都得利用全部样本。

技术分享图片

四、使用二元分类的多分类问题

OVA经常不平衡,即属于某类的样本过多时,分类结果往往倾向于该类。
为更加平衡,使用OVO。
OVA保留一类,其他为非该类,每次利用全部样本;
OVO保留两类,每次只利用属于这两类的样本。

技术分享图片

通过投票得出最终分类结果。

技术分享图片

OVO总结:

技术分享图片

OVA vs OVO:

技术分享图片

机器学习基石笔记:11 Linear Models for Classification、LC vs LinReg vs LogReg、OVA、OVO

原文:https://www.cnblogs.com/cherrychenlee/p/10799529.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!