首页 > 编程语言 > 详细

吴恩达《机器学习》课程总结(8)_神经网络参数的反向传播算法

时间:2019-07-31 00:08:47      阅读:102      评论:0      收藏:0      [点我收藏+]

Q1代价函数

(1)假设神经网络的训练样本有m个,每一个包含一组输入x和一组输出信号y,L表示神经网络的层数,Sl表示每一层的神经元个数,SL代表最后一层中处理单元的个数。

则代价函数为(同样不对θ0正则化):

技术分享图片

Q2反向传播算法

误差计算公式,注意第一列作为输入是没有误差的。

技术分享图片

 

前向传播算法:

技术分享图片

用δ表示误差,则δ(4)=a(4)-y

前一层的误差为:

技术分享图片

技术分享图片

再前一层的误差为:

技术分享图片

输入层不存在误差。

每一层有了误差之后,即可分别进行求偏导,然后更新θ。

技术分享图片

Q3反向传播算法的直观理解

Q4实现注意:展开参数

Q5梯度检验

用某点领域的两个点的连线的斜率作为该点的估算值,然后用该值与神经网络计算出来的值作比较。

技术分享图片

Q6随机初始化

参数的初始化应该随机的,如果是相同的值的话,第二层的所有激活单元都会有相同的值,后面也类似。

Q7综合起来

使用神经网络时的步骤:

(1)网络结构:第一件要做的事是选择网络结构,即决定选择多少层以及决定每层分别有多少单元。

第一层的单元数即为我们训练集的特征数量。

最后一层的单元数是我们训练集的结果的类的数量。

(2)训练神经网络:

1.参数的随机初始化;

2.利用正向传播方法计算所有的hθ(x);

3.编写计算代价函数J的代码;

4.利用反向传播方法计算所有的偏导数;

5.利用数值检验方法检验这些偏导数;

6.使用优化算法来最小化代价函数。

Q8自动驾驶

略。

吴恩达《机器学习》课程总结(8)_神经网络参数的反向传播算法

原文:https://www.cnblogs.com/henuliulei/p/11273227.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!