梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate

时间：2016-04-01 18:43:11 阅读：168 评论：0 收藏：0 [点我收藏+]

梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate

梯度下降算法中的学习率 $技术分享$ （learning rate）很难确定，下面介绍一些寻找 $技术分享$ 的实用技巧。首先看下如何确定你的梯度下降算法正在正常工作：一般是要画出代价函数 $技术分享$ 和迭代次数之间的图像，如下图所示。如果 $技术分享$ 随着迭代次数的增加不断下降，那么说明梯度下降算法工作的很好，当到达一定迭代次数后 $技术分享$ 基本持平时，说明 $技术分享$ 已经收敛了，可以选取此时的 $技术分享$ 作为参数。一般选取一个数 $技术分享$ 小于 $技术分享$ ，如果 $技术分享$ 下降的幅度小于 $技术分享$ ，则认为收敛了。

下面给出判断梯度下降不正常工作的判断方法及解决方法：如下图所示，当 $技术分享$ 随着迭代次数增加反而增加时，说明梯度下降算法工作的不正常。一般的解决办法是缩小学习率 $技术分享$ 的值。如果学习率 $技术分享$ 过大，会出现如下图右所示的情况，下降的幅度过大，跳过了全局最小值。下图下方所示的图形问题，解决办法也是缩小学习率 $技术分享$ 的值。

关于学习率 $技术分享$ 的取值：由上面我们可以知道，当 $技术分享$ 过大时， $技术分享$ 可能不降反升。需要缩小 $技术分享$ 的取值，但是如果 $技术分享$ 取值过小，会导致 $技术分享$ 收敛的非常慢。因为如何选取一个合适的 $技术分享$ 很重要。下图给出选取 $技术分享$ 的方法。

梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate

原文：http://blog.csdn.net/u012328159/article/details/51030961

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年09月23日 (328)
2021年09月24日 (313)
2021年09月17日 (191)
2021年09月15日 (369)
2021年09月16日 (411)
2021年09月13日 (439)
2021年09月11日 (398)
2021年09月12日 (393)
2021年09月10日 (160)
2021年09月08日 (222)