1.1 感知器
- 感知器是一种人工神经元.它接受几个二进制输出并产生一个二进制输入.如果引入权重和阈值,那么感知器的参数可以表示为:
,如果再引入偏置(表示激活感知器有多容易的估算),那么规则可以简洁表示为:
- 感知器是单输出的,但这个单输出可以被用于多个其它感知器的输入.
- 感知器可以很容易地计算基本的逻辑功能,如与,或,与非.所以感知器网络可以计算任何逻辑功能.
- 一般可以将输入层也画为一层有输出但没有输入的感知器,但它实际上只表示一种输出期望值的特殊单元.
- 使感知器能够自动调整权重和偏置的学习算法是神经网络有别于传统逻辑门的关键.
1.2 S型神经元
- 网络中单个感知器上权重或偏置的微小改动可能会引起输出翻转,从而导致其余网络的行为改变.所以逐步修改权重和偏置来让输出接近期望很困难,所以引入了S型神经元(逻辑神经元).
- S型神经元和感知器类似,但是权重和偏置的微小改动只引起输出的微小变化.S型神经元的输入可以是0和1中的任意值,输出是σ(wx+b),其中σ被称为s型函数(逻辑函数):
,也就是输出为:
- σ函数是阶跃函数的平滑版本.这意味着权重和偏置的微小变化会产生一个微小的输出变化:
,这意味着输出的变化是权重和偏置的变化的线性函数.
- 练习:
- 感知器网络的结果只和wx+b的正负有关,同时乘一个正的常数c不会改变结果的正负性
- 神经元网络中的权重和偏置都乘以一个趋向正无穷的常数c后,当wx+b != 0时,输出σ(z)近似为1,和感知器网络完全一致.当感知器的wx+b=0时,输出σ(z)=0.5,所以会不同.
1.3 神经网络的架构
《神经网络与深度学习》读书笔记
原文：https://www.cnblogs.com/limitlessun/p/9308053.html
