1）单位阶跃函数:
神经网络的原模型是用单位阶跃函数作为激活函数的。单位阶跃函数计算公式如下：
单位阶跃函数图像如下所示：
从公式可以看出，单位阶跃函数在原点处不连续，也就是在原点不可导，由于这个性质，单位阶跃函数不能成为主要的激活函数。
2）指数函数与Sigmoid函数
具有以下形状的函数称为指数函数：
其中a为常数，且a不等于1。
常用a称为指数函数的底数。纳皮尔数e是一个特别重要的底数，其近视值如下：
这个指数函数包含在以下的Sigmoid函数的分母中。Sigmoid函数是神经网络中具有代表性的激活函数。
Sigmoid函数的图像：
问题：在Sigmoid函数中，求以下函数的近似值。
解：取e=2.7作为近似值，答案依次为0.27、0.5、0.73
3）正太分布的概率密度函数
用计算机实际确定神经网络时，必须设定权重和偏置的初始值。求初始值时，正太分布是一个有用的工具。使用服从这个分布的随机数，容易取得好的成绩。
这是一个期望值为，标准差为的正太分布。
其中均值为0标准差为1的正太分布称为标准正太分布。
原文：https://www.cnblogs.com/KnightLaHire/p/15096979.html