首页 > 其他 > 详细

logistic回归

时间:2016-03-29 10:31:28      阅读:171      评论:0      收藏:0      [点我收藏+]

逻辑斯谛回归模型

逻辑斯谛分布

首先介绍逻辑斯谛分布,该分布的定义是

设X是连续随机变量,X服从逻辑斯谛分布是指X服从如下分布函数和密度函数:

技术分享

其中,技术分享为位置参数,技术分享> 0 为形状参数。

可以通过其图像观察:

技术分享

右边的逻辑斯蒂分布函数以点技术分享中心对称,即满足:

技术分享

形状参数技术分享越小,曲线在中心的增长速度越快。

二项逻辑斯蒂回归模型

这是一种由条件概率表示的模型,其条件概率模型如下:

技术分享

其中,exp为以e为底的指数函数,x∈Rn是输入,y∈{0,1}输出,w,b是模型参数——w是权值向量,b称作偏置,w·x是向量内积。

有了后验概率,逻辑斯蒂回归模型选择二分类中较大的那一个完成分类。

另外,逻辑斯特回归模型还有一个方便的形式,如果将权值向量w和输入向量x拓充为w=(w(1),w(2),…w(n),b)T,x=(x(1),…x(n),1)T,此时逻辑斯谛模型可以表示为:

技术分享

为什么要重新提一个形式出来呢?这是因为,这个形式跟几率的表达式很像。

定义事件的几率:发生概率与不发生概率的比值——技术分享

定义对数几率:

技术分享

将逻辑斯蒂模型的便捷形式做一个变换恰好可以得到:

技术分享

这也就是说,在逻辑斯蒂回归模型中,输出Y=1的对数几率是输入x的线性函数。或者说输出Y=1的对数几率是由输入x的线性函数表示的模型,即逻辑斯蒂回归模型。反过来讲,如果知道权值向量,给定输入x,就能求出Y=1的概率:

技术分享

线性函数w·x的值越接近正无穷,概率值越接近1;反之,越接近负无穷,概率值越接近0——这就是逻辑斯谛回归模型。

模型参数估计

在模型学习的时候,对于给定训练集T = {(x1,y1)…(xN,yN)},x∈Rn,y∈{0,1}

技术分享

定义似然函数

技术分享

则有对数似然函数

技术分享

这个好说,把后面括号里的负π提到前面去就行了。

对L(w)求极大值就可以得出权值向量w的估计值。

解决以L(w)为目标函数的最优化问题的一般方法是梯度下降法及拟牛顿法,前者书上让参考附录,后者在后面会介绍。

梯度下降:

函数的梯度由其偏导数构成:

技术分享

技术分享

梯度是函数增长最快的方向,记移动补偿为α,则梯度算法的迭代公式为:

技术分享

假定权值向量w有了,怎么计算模型输出呢?

特征向量乘以权值向量得出一个实数z

技术分享

希望通过该实数输出一个0或1的类别,这时候就需要利用Sigmoid函数了:

技术分享

其图像如下:

技术分享

将该实数代入Sigmoid函数后,得到一个0~1之间的数,大于0.5归入1,小于0.5归入0即可。

利用Sigmoid函数,梯度上升算法的伪码如下:

技术分享



logistic回归

原文:http://blog.csdn.net/u013412535/article/details/51000411

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!