首页 > 其他 > 详细

【机器学习】逻辑回归的代价函数及其梯度下降公式推导-转载

时间:2019-10-22 00:51:49      阅读:339      评论:0      收藏:0      [点我收藏+]
1.损失函数及其求解

线性回归模型的模型如下:

 
技术分享图片

 

 

 

逻辑回归的模型定义(需要借助Sigmoid函数):

 
技术分享图片

 

 

 

将上述线性回归的模型带入到g(x)中,得到最终的逻辑回归的模型:

 
技术分享图片

 

 

 

假定上个表达式是等于类 1 的概率,自然等于类 0 的概率等于1减去等于类 1 的概率,如下所述:

 
技术分享图片

 

 

 

将上面两个式子整合为下面一个公式:

 
技术分享图片

 

 

 

那么似然函数为

 
技术分享图片

 

 

 

m表示样本个数,为了方便计算,取对数得

 
技术分享图片

 

 

 

求上式的极大值,引入因子 -1/m,转化为求下式的极小值:

 
技术分享图片

 

 

 

这就是逻辑回归的log损失函数,其中

 
技术分享图片

 

 

 


那我们通过梯度下降更新 theta

 
技术分享图片

 

 

 

其中α是学习步长。
下面给出怎样推导上面的偏导数:

 
技术分享图片

 

 

 

sigmoid函数的导数为:

g(x)‘ = g(x)*(1-g(x))

 sigmoid函数的导数推导过程:Click here

 

【机器学习】逻辑回归的代价函数及其梯度下降公式推导-转载

原文:https://www.cnblogs.com/qinyuguan/p/11717244.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!