我们首先定义如下图所示的神经网络，为了简单起见，所有的层都不加偏置。其中，??X 表示输入层，??????Zij 表示第 ??j 个隐含层的所有神经元，????Wj 表示第 ??j 层的权重。
因此：
所以：
最终的 ????????Loss 函数可以表示为：????????=12(?????????????)2Loss=12(yi?yout)2
在训练过程中，我们要保证 ????????Loss 越小越好，因此采用梯度下降的方法来求解网络的参数 ??=[??111,??121,...,??321]W=[w111,w211,...,w213]，于是就需要求解 ????????Loss 对所有参数的偏导数 ???(??)=[???(??)???111,???(??)???112,...???(??)???321]???L(w)=[?L(w)?w111,?L(w)?w121,...?L(w)?w213]T，于是权重更新公式可以写为：
在上一节中， 我们大致对神经网络的梯度更新有了了解，其中最核心的部分就是求出损失函数对权重 ????????wijl 的导数。由于网上大多数资料都是生搬硬套，因此我们以计算 ??1W1 的导数为例，对整个反向求导过程进行细致的剖析。如下图所示：
其中，????????wjkl 表示从第 ??l 层的第 ??j 个节点到第 ??+1l+1 层中的第 ??k 个节点的权重，根据前向传播的计算我们可以得到：
原文：https://www.cnblogs.com/miutic/p/15207504.html