梯度下降法公式：
求
就是找到一个
能够最小化代价函数J(
)
如何确保梯度下降正常工作？如何选择学习率a (learning rate )？ 今天就给大家总结一下学习率有关的知识
当学习率a选择过大可能出现随着迭代次数的增加，代价函数J(
) 越来越大，不会收敛。 这个时候就需要减小学习率。
数据家已经证明：只有学习率足够小，代价函数就应该随着迭代次数的增加而减小。
因此如果代价函数没有下降，一般都是学习率选的太大。但是也不能使学习率选的太小，因为如果太小，那么梯度下降算法可能收敛得比较慢。
总结：（1）如果 学习率a 太小，梯度下降算法可能收敛得比较慢
（2） 如果学习率a太大，梯度下降算法可能不会再每次迭代都下降，甚至不收敛。
通常我尝试选择 学习率a: 0.001,0.003,0.01,0.03,0.1,0.3, 1
选择一个是梯度下降收敛效果比较好的 学习率a.
原文：https://www.cnblogs.com/gylhaut/p/9382662.html