Relu是我们在训练网络时常用的激活函数之一（对我而言没有之一）。然而最近发现Relu太脆弱了，经常由于输入的函数梯度过大导致网络参数更新后，神经元不再有激活功能。特别是网络在训练刚开始的时候（如果在使用Focal loss,这种现象更容易发生）。 在这种情况下，或许softplus可以尝试一下。相关资料请移步softplus(softplus)
Relu的缺点
原文：https://www.cnblogs.com/double-t/p/10923877.html
