一、介绍
AlexNet中使用了ReLU代替sigmoid激活函数，发现使用 ReLU 得到的SGD的收敛速度会比 sigmoid/tanh 快很多
二、作用
1.sigmoid与tanh有饱和区，ReLU在x>0时导数一直是1，有助于缓解梯度消失，从而加快训练速度
2.无论是正向传播还是反向传播，计算量显著小于sigmoid和tanh
三、缺点
当x<0时，梯度是0，从而往下传播的梯度都是0.在学习率较大时，可能会有大量神经元“死掉”。解决方法是Leaky Relu，当x<0时，给一定的负梯度。
四、注意
输出均值不是0，是sigmoid的缺点，因为sigmoid有饱和区。但ReLU输出均值不是0，不是缺点，因为ReLU没有饱和区。
原文：https://www.cnblogs.com/mimandehuanxue/p/8994391.html