学习率 (learning rate)，控制 模型的 学习进度
lr 即 stride (步长)
| 学习率 大 | 学习率 小 | |
|---|---|---|
| 学习速度 | 快 | 慢 |
| 使用时间点 | 刚开始训练时 | 一定轮数过后 |
| 副作用 | 1.易损失值爆炸；2.易振荡。 | 1.易过拟合；2.收敛速度慢。 |
在训练过程中，一般根据训练轮数设置动态变化的学习率。
刚开始训练时：学习率以 0.01 ~ 0.001 为宜。
一定轮数过后：逐渐减缓。
接近训练结束：学习速率的衰减应该在100倍以上。
如果是 迁移学习 ，由于模型已在原始数据上收敛，此时应设置较小学习率 (≤10?4≤10?4) 在新数据上进行 微调 。
学习率减缓机制
| 轮数减缓 | 指数减缓 | 分数减缓 | |
|---|---|---|---|
| 英文名 | step decay | exponential decay | 1/t1/t?decay |
| 方法 | 每N轮学习率减半 | 学习率按训练轮数增长指数插值递减 | lrt=lr0/(1+kt)lrt=lr0/(1+kt)?，kk?控制减缓幅度，tt?为训练轮数 |
理想情况下 曲线 应该是 滑梯式下降 [绿线]：
原文：https://www.cnblogs.com/duoba/p/13380312.html