首页 > 其他 > 详细

梯度下降中的步长选择-线性搜索

时间:2017-03-02 23:14:13      阅读:788      评论:0      收藏:0      [点我收藏+]

固定步长的时候往往不能很快的梯度下降。

所以步长的选择也很重要。

下面的dk是搜索方向,在梯度下降中就是负梯度方向。

技术分享

技术分享

在这里是假设了h(a)是连续可导的函数,一般情况下也是这样。

找到合适的a有几种方式

1.简单的二分搜索

技术分享

2.回溯法线性搜索

技术分享

上式中小于等于号右边的式子是小于f(xk)的,因为dk是跟技术分享异号的。

回溯的时候可以不断的除以2,c1可以取值0.3

 

梯度下降中的步长选择-线性搜索

原文:http://www.cnblogs.com/fisherinbox/p/6492890.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!