首页 > 其他 > 详细

SGD、GD

时间:2018-10-20 18:00:49      阅读:29      评论:0      收藏:0      [点我收藏+]

标签:info   methods   关于   cal   问题   batch   技术分享   算法   优点   

GD参考:

https://blog.csdn.net/CharlieLincy/article/details/70767791

SGD参考:
https://blog.csdn.net/CharlieLincy/article/details/71082147

关于SGD,博主的第二个问题。

GD 代码:

技术分享图片

SGD代码:

技术分享图片

mini-batch代码:

技术分享图片

一直不明白SGD和GD相比优势到底在哪。看代码每次迭代两个算法都要遍历一次数据集。没啥区别。

然而。区别就在同样是一次迭代,遍历一次数据集,SGD更新了m次参数,GD只更新了一次。

关于这种随机样本更新的原理,以及SGD自动逃避鞍点的优点,有待进一步研究。

论文待看:Optimization methods for large-scale machine learning.

 

SGD、GD

标签:info   methods   关于   cal   问题   batch   技术分享   算法   优点   

原文:https://www.cnblogs.com/icode-girl/p/9822347.html

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
© 2014 bubuko.com 版权所有 鲁ICP备09046678号-4
打开技术之扣,分享程序人生!
             

鲁公网安备 37021202000002号