首页 > 其他 > 详细

《统计学习方法》笔记--逻辑回归

时间:2019-11-04 01:36:58      阅读:114      评论:0      收藏:0      [点我收藏+]

逻辑回归模型(logistic regression model)是一种软分类的判别模型,形式为参数化的逻辑斯蒂分布。

二分类的模型定义如下,

技术分享图片

对于给定的训练数据集技术分享图片,其中技术分享图片,对于模型的参数可以用极大似然估计法来估计。

对数型的似然函数为:

技术分享图片

上述的似然函数推导中,可以转换为求损失函数的最小化。而对于求似然函数的极大值,则用梯度下降法来估计技术分享图片的值进而求得似然函数的极大值。

技术分享图片

参考慕课教程,编写逻辑回归的代码及利用sklearn中莺尾花数据集进行测试如下:

技术分享图片

图1-1 逻辑回归的代码编写

技术分享图片

图1-2 测试

逻辑回归也可以进行多分类任务,利用sklearn中的多分类模块,有oneVSone和oneVSrest两种,oneVSone意味着多分类中的类需要两两进行比较一次,虽比较的次数比较多,但其分类的准确率比较高;而oneVSrest将某一类与其他类作为统一类作比较,虽比较次数大幅度减少,但其分类的准确率相比oneVSone的就要低一些。

?

?

《统计学习方法》笔记--逻辑回归

原文:https://www.cnblogs.com/lincz/p/11789852.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!