https://medium.com/analytics-vidhya/is-relu-dead-27943b50102
1、使用relu作为激活函数时,因其在输入小于0时,输出为0,所以可能会造成dead relu,使得输出和梯度都为0;
2、上述文章中使用了多种方式尝试去改善,包括更多层,更多数据,改变初始化方式,使用leak relu(why)等都没有效果,最后使用了SELU解决了这个问题。
3、这篇文章主要是通过Tensorboard来观察dead relu这种现象,以前只会使用它来观察loss啊,accuracy等,以后也会观察下梯度了
原文:https://www.cnblogs.com/573177885qq/p/11968097.html