首页 > 其他 > 详细

浅谈梯度下降

时间:2019-03-10 10:07:31      阅读:192      评论:0      收藏:0      [点我收藏+]

 

优化问题有很多经典和常用的模型,比如拉格朗日松弛,分支定界,启发式模型等,但在机器学习中用的最多的还是梯度下降,梯度下降再优化凸函数有很好的优势,可以找到最小值。

技术分享图片

凸函数的数学定义:

技术分享图片

梯度下降的实现步骤:

技术分享图片

J就是逻辑回归的目标函数,求出对每一个参数的偏导并求反,为梯度下降的方向:

技术分享图片

通过上面的公式更新参数,迭代,直到稳定为止。

 

浅谈梯度下降

原文:https://www.cnblogs.com/wyx501/p/10504422.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!