首页 > 其他 > 详细

激活函数

时间:2021-09-02 08:38:10      阅读:13      评论:0      收藏:0      [点我收藏+]

1.3 激活函数

1.3.1 sigmoid 激活函数

我们通常就用其中最常用的logistic函数来代指sigmoid函数:

 

??(??)=11+?????f(x)=11+e?x

 

技术分享图片

特点:sigmoid函数和阶跃函数非常相似,但是解决了光滑和连续的问题,同时它还成功引入了非线性。由于其值域处在0~1,所以往往被用到二分类任务的输出层做概率预测。?

缺点:

  1. 当输入值大于3或者小于-3时,梯度就非常接近0了,在深层网络中,这非常容易造成“梯度消失”(也就是反向传播时误差难以传递到前面一层)而使得网络很难训练。
  2. 其解析式中含有幂运算,计算机求解时相对来讲比较耗时。

1.3.2 Softmax 激活函数

Softmax 又称归一化指数函数, 适用于只有一个正确答案多类别分类问题(例如手写数字)。构建分类器,解决只有唯一正确答案的问题时,用Softmax函数处理各个原始输出值。

 

??????????????(????)=??????????=1??????softmax(xi)=exi∑j=1nexj

 

Softmax函数是二分类函数Sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来。直白来说就是将原来的输出映射成为 (0,1) 的值,而这些值的累和为1(满足概率的性质),我们就可以选取概率最大(也就是值对应最大的)结点,作为我们的预测目标。

激活函数

原文:https://www.cnblogs.com/miutic/p/15207511.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!