首页 > 其他 > 详细

dead relu and Tensorboard

时间:2019-12-01 23:58:33      阅读:129      评论:0      收藏:0      [点我收藏+]

https://medium.com/analytics-vidhya/is-relu-dead-27943b50102

1、使用relu作为激活函数时,因其在输入小于0时,输出为0,所以可能会造成dead relu,使得输出和梯度都为0;

2、上述文章中使用了多种方式尝试去改善,包括更多层,更多数据,改变初始化方式,使用leak relu(why)等都没有效果,最后使用了SELU解决了这个问题。

3、这篇文章主要是通过Tensorboard来观察dead relu这种现象,以前只会使用它来观察loss啊,accuracy等,以后也会观察下梯度了

dead relu and Tensorboard

原文:https://www.cnblogs.com/573177885qq/p/11968097.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!