多层感知器,计算训练数据的输出,根据预测输出和实际输出之间的差异去调整神经元的权值w和偏重b,不断迭代训练直到误差小于一定范围。
对于单个神经元：
多层感知机的前向传播（Forward Propagation）：
多层感知机的反向传播（Backward Propagation）：
Loss function: 
To minimize Loss function, using Gradient descend method:
Assuming that:
最终得到各层参数的更新公式为：
反复迭代，直到y*=y或训练轮数达到预设的上限或精度第一次达到或超过设定的阈值。
如果Loss function采用交叉熵（为什么？逻辑回归中最常采用交叉熵，采用交叉熵能使得代价函数为凸函数）
where,
https://blog.csdn.net/xholes/article/details/78461164
原文：https://www.cnblogs.com/keeplearningLYU/p/14013490.html