我们首先定义如下图所示的神经网络,为了简单起见,所有的层都不加偏置。其中,??X 表示输入层,??????Zij 表示第 ??j 个隐含层的所有神经元,????Wj 表示第 ??j 层的权重。
因此:
所以:
最终的 ????????Loss 函数可以表示为:????????=12(?????????????)2Loss=12(yi?yout)2
在训练过程中,我们要保证 ????????Loss 越小越好,因此采用梯度下降的方法来求解网络的参数 ??=[??111,??121,...,??321]W=[w111,w211,...,w213],于是就需要求解 ????????Loss 对所有参数的偏导数 ???(??)=[???(??)???111,???(??)???112,...???(??)???321]???L(w)=[?L(w)?w111,?L(w)?w121,...?L(w)?w213]T,于是权重更新公式可以写为:
在上一节中, 我们大致对神经网络的梯度更新有了了解,其中最核心的部分就是求出损失函数对权重 ????????wijl 的导数。由于网上大多数资料都是生搬硬套,因此我们以计算 ??1W1 的导数为例,对整个反向求导过程进行细致的剖析。如下图所示:
其中,????????wjkl 表示从第 ??l 层的第 ??j 个节点到第 ??+1l+1 层中的第 ??k 个节点的权重,根据前向传播的计算我们可以得到:
原文:https://www.cnblogs.com/miutic/p/15207504.html