首页 > 其他 > 详细

神经网络

时间:2021-09-02 02:34:24      阅读:48      评论:0      收藏:0      [点我收藏+]

1.1 神经网络的前向传播

我们首先定义如下图所示的神经网络,为了简单起见,所有的层都不加偏置。其中,??X 表示输入层,??????Zij 表示第 ??j 个隐含层的所有神经元,????Wj 表示第 ??j 层的权重。

技术分享图片

因此:

 

??1=???????111??112??113??121??122??123???????2=[??211??212??221??222??231??232]??3=[??311,??321]W1=[w111w211w121w221w131w231],W2=[w112w212w312w122w222w322],W3=[w113,w213]

 

所以:

 

??1=???????11??12??13?????=???????111??112??113??121??122??123?????[??1??2]=???????11??12??13?????=??1????2=??2??1????????=??3??2Z1=[z11z21z31]=[w111w211w121w221w131w231][x1x2]=[z11z21z31]=W1X,Z2=W2Z1,yout=W3Z2

 

最终的 ????????Loss 函数可以表示为:????????=12(?????????????)2Loss=12(yi?yout)2

在训练过程中,我们要保证 ????????Loss 越小越好,因此采用梯度下降的方法来求解网络的参数 ??=[??111,??121,...,??321]W=[w111,w211,...,w213],于是就需要求解 ????????Loss 对所有参数的偏导数 ???(??)=[???(??)???111,???(??)???112,...???(??)???321]???L(w)=[?L(w)?w111,?L(w)?w121,...?L(w)?w213]T,于是权重更新公式可以写为:

 

????+1=??????????(??)Wk+1=Wk?α?L(w)

 

1.2 神经网络的反向求导

在上一节中, 我们大致对神经网络的梯度更新有了了解,其中最核心的部分就是求出损失函数对权重 ????????wijl 的导数。由于网上大多数资料都是生搬硬套,因此我们以计算 ??1W1 的导数为例,对整个反向求导过程进行细致的剖析。如下图所示:

技术分享图片

其中,????????wjkl 表示从第 ??l 层的第 ??j 个节点到第 ??+1l+1 层中的第 ??k 个节点的权重,根据前向传播的计算我们可以得到:

 

????????(??311??211+??3

神经网络

原文:https://www.cnblogs.com/miutic/p/15207504.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!