激活函数

神经网络需要激活函数的原因

1）非线性激活函数的主要作用：

• 提供网络的非线性建模能力，增强模型的表达能力，双隐层神经网络能够解决任意复杂的分类问题
• 将原始特征从低维空间映射到高维空间(从多项式角度看——它隐含的找到了所需的高次特征项(更好的特征)，从而简化了繁重的计算)

2）线性函数不能用作激活函数的原因

• 线性函数的线性组合仍然是线性函数
• 不能解决线性不可分问题

激活函数的分类、演化及优缺点

激活函数的分类

Traditional： sigmoid(logistic)、tanh

RELU Family： RELU、Leaky RELU、PRELU、RRELU

Exponential Family： ELU、SELU

激活函数的演化及优缺点

1）Sigmoid 的优缺点

优点：

可以把输入映射到(0, 1)区间，可以用来表示概率

在物理意义上最为接近生物神经元

缺点：

梯度消失问题

2）Tanh 的优缺点

优点：

0均值，把输入映射到(-1, 1)区间

缺点：

虽然 tanh 的导数区间为(0, 1]，但仍然会导致梯度消失问题

3）RELU 的优缺点

优点：

比 sigmoid/tanh 收敛的更快

其导数在其权重和(z) 大于 0 的时候为 1，从而误差可以很好的传播，权重可以正常更新

缺点：

其导数在其权重和(z) 小于 0 的时候为 0，会导致梯度值为0，从而权重无法正常更新

输出具有偏移现象，即输出均值恒大于零

4）ELU

右侧线性部分使得 ELU 能够缓解梯度消失，而左侧软饱能够让 ELU 对输入变化或噪声更鲁棒

激活函数

原文：https://www.cnblogs.com/yongfuxue/p/10095715.html