首页 > 其他 > 详细

逻辑回归

时间:2016-12-06 13:59:37      阅读:434      评论:0      收藏:0      [点我收藏+]

(注:本文内容和图片来源于林轩田老师的《机器学习基石》课程)

1 引入逻辑回归

通常的二分类问题,希望输出类别;soft的二分类问题,希望输出概率值:

技术分享技术分享

技术分享

 

对于soft问题的理想数据和实际数据:

技术分享

 

逻辑回归的思想:先求出特征的线性加权分数,再把它用逻辑斯蒂函数转化为0~1之间的值:

技术分享

 

 

逻辑斯蒂函数介绍:

技术分享 

 

2 逻辑回归的损失函数

最大似然:将训练集产生的概率最大化:

技术分享

 

运用逻辑斯蒂函数的性质:

 技术分享

可以得到:

技术分享

 

因此问题就变为,选择合适的逻辑回归模型h,使得似然函数最大化:
技术分享

把逻辑回归模型代进去,具体来说,就是:

技术分享

两边取对数:

技术分享

技术分享

最后得到最终形式:
技术分享

 

3 最小化损失函数

现在的问题是:

技术分享

3.1 求损失函数的梯度

技术分享

3.2 梯度下降法的推导

用迭代来求最优化问题,如下(其中v是一个单位向量):

技术分享

梯度下降的思想是:每次更新完以后,函数值尽可能下降到最低。因此相当于:

技术分享

 

将式子泰勒展开:
技术分享

则最小化问题变为:
技术分享

前面一项是已知的,为了将最后一项向量内积最小化,v应该等于:

技术分享(即与梯度相反,再单位化)

 

η的选择:

技术分享

因此η应该随梯度动态变化,假设η正比于梯度的大小:

技术分享

因此,我们就能得到最后的形式。

 

4 逻辑回归学习算法

技术分享

 

逻辑回归

原文:http://www.cnblogs.com/coldyan/p/6137097.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!