首页 > Web开发 > 详细

吴恩达机器学习笔记28-神经网络的代价函数(Cost Function of Neural Networks)

时间:2019-02-21 20:44:58      阅读:299      评论:0      收藏:0      [点我收藏+]

  假设神经网络的训练样本有??个,每个包含一组输入??和一组输出信号??,??表示神经网
络层数,????表示每层的neuron 个数(????表示输出层神经元个数),????代表最后一层中处理单元
的个数。
  将神经网络的分类定义为两种情况:二类分类和多类分类,
二类分类:???? = 0, ?? = 0 ???? 1表示哪一类;
??类分类:???? = ??, ???? = 1表示分到第i 类;(?? > 2)

技术分享图片

我们回顾逻辑回归问题中我们的代价函数为:

技术分享图片

  在逻辑回归中,我们只有一个输出变量,又称标量(scalar),也只有一个因变量??,但
是在神经网络中,我们可以有很多输出变量,我们的???(??)是一个维度为??的向量,并且我们
训练集中的因变量也是同样维度的一个向量,因此我们的代价函数会比逻辑回归更加复杂一
些,为:

 技术分享图片

技术分享图片

  这个看起来复杂很多的代价函数背后的思想还是一样的,我们希望通过代价函数来观察
算法预测的结果与真实情况的误差有多大,唯一不同的是,对于每一行特征,我们都会给出
??个预测,基本上我们可以利用循环,对每一行特征都预测??个不同结果,然后在利用循环
在??个预测中选择可能性最高的一个,将其与??中的实际数据进行比较。

  正则化的那一项只是排除了每一层??0后,每一层的?? 矩阵的和。最里层的循环??循环所
有的行(由???? +1 层的激活单元数决定),循环??则循环所有的列,由该层(????层)的激活单
元数所决定。即:??? (??)与真实值之间的距离为每个样本-每个类输出的加和,对参数进行
regularization 的bias 项处理所有参数的平方和。

吴恩达机器学习笔记28-神经网络的代价函数(Cost Function of Neural Networks)

原文:https://www.cnblogs.com/sl0309/p/10415059.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!