有限差分估计梯度：
写起来简单，但速度慢而且结果区分度不大
解析梯度：
计算图：
反向传播工作机制：
从输出开始乘以每个节点的本地梯度，一直传递到输入
梯度从后向前传播（链式法则）
sigmond函数：
加法门、max门、乘法门：
加法门相当于分配梯度
max门相当于路由器，将梯度传给上游最大值所在节点
乘法门相当于转换器
多个神经元在节点处相加的梯度等于每个神经元的梯度相加的和
1
梯度下降
原文：https://www.cnblogs.com/Manuel/p/10994305.html
