首页 > 其他 > 详细

手写数字识别神经网络——学习笔记

时间:2018-12-11 21:12:03      阅读:279      评论:0      收藏:0      [点我收藏+]

感知机

单个神经元,只能二分类;需要多搭几个构成网络,来进行多分类。

y=w*x+b;权重和偏置

技术分享图片

技术分享图片

技术分享图片

 

BP神经网络

预测值与真实值差异->损失函数->梯度下降方法优化参数

真实值one-hot编码

技术分享图片

损失函数:

技术分享图片

每次更新,朝着最优解方向走。学习率0-1。

技术分享图片

技术分享图片

 

技术分享图片

前向传播得到预测值

 

技术分享图片

激活函数:

技术分享图片

sigmod函数,左为0,不适合隐藏层,不然损失函数为0,梯度消失。

有了激活函数

 技术分享图片

每一层W的行列:行为此层数,列为下一层数。

技术分享图片

技术分享图片

反向传播求梯度

技术分享图片

练习:

技术分享图片

 

手写数字识别神经网络——学习笔记

原文:https://www.cnblogs.com/wxl845235800/p/10105088.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!