首页 > 其他 > 详细

吴恩达机器学习笔记11-梯度下降法实践2-学习率

时间:2019-02-10 10:30:53      阅读:305      评论:0      收藏:0      [点我收藏+]

  梯度下降算法收敛所需要的迭代次数根据模型的不同而不同,我们不能提前预知,我们
可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。

技术分享图片

 

也有一些自动测试是否收敛的方法,例如将代价函数的变化值与某个阀值(例如0.001)
进行比较,但通常看上面这样的图表更好。
  梯度下降算法的每次迭代受到学习率的影响,如果学习率??过小,则达到收敛所需的迭
代次数会非常高;如果学习率??过大,每次迭代可能不会减小代价函数,可能会越过局部最
小值导致无法收敛。
通常可以考虑尝试些学习率:
?? = 0.01,0.03,0.1,0.3,1,3,10

吴恩达机器学习笔记11-梯度下降法实践2-学习率

原文:https://www.cnblogs.com/sl0309/p/10358586.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!