首页 > 其他 > 详细

逻辑回归与梯度下降法

时间:2020-03-03 20:35:18      阅读:80      评论:0      收藏:0      [点我收藏+]

广义线性模型:因变量不服从正态分布时,但所服从的的分布属于指数族分布,这样的模型成为广义线性模型。

  • 逻辑回归公式推导:

定义:    

        技术分享图片

联结函数:      

         技术分享图片

则,

        技术分享图片

         技术分享图片

         技术分享图片

记,         

         技术分享图片

则有,    

        技术分享图片 

        技术分享图片 

        技术分享图片

  •  损失函数的推导:

(利用极大似然估计)

似然函数:

        技术分享图片

         技术分享图片

两边取对数(单调性不变):

        技术分享图片

损失函数:

        技术分享图片

  • 梯度下降法更新参数:

梯度方向时函数值增加最快的方向

技术分享图片 

技术分享图片

技术分享图片

技术分享图片 技术分享图片

技术分享图片

迭代更新参数:

技术分享图片

   技术分享图片

 

 

 

 

 

逻辑回归与梯度下降法

原文:https://www.cnblogs.com/jiaxinwei/p/12404366.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!