首页 > 其他 > 详细

第四周:卷积神经网络 part3

时间:2020-08-22 18:26:31      阅读:65      评论:0      收藏:0      [点我收藏+]

第四周:卷积神经网络 part3

一、卷积神经网络

基本应用:

  1. 语音问答 2. 股票预测 3. 作词作诗 4. 图像理解 5. 视觉问答

循环神经网络和卷积神经网络的不同是什么?

  • 传统神经网络,卷积神经网络,输入和输出之间是相互独立的
  • RNN可以更好的处理具有时序关系的任务
  • RNN通过其循环结构引入“记忆”的

技术分享图片

 

 

 

二、基本结构

1.RNN基本结构

技术分享图片

 

 

 

2.深度RNN

技术分享图片

 

 

3.双向RNN

技术分享图片

 

 

 4.BP算法

技术分享图片

 

 

5.BPTT算法

技术分享图片

 

 

 

 三、变种

1.传统RNN的问题

技术分享图片

 

 

 

 

 

 

 技术分享图片

 

 

 

2.LSTM

LSTM(长短期记忆模型)由三个门(遗忘门、输入门、输出门)组成,来保护和控制细胞状态。

遗忘门:决定丢弃信息

输入门:确认需要更新的信息

输入门:确认需要更新的信息

技术分享图片

 

 

 

遗忘门:

技术分享图片

 

 

 输入门:

技术分享图片

 

 

 

输出门:

技术分享图片

 

 

 3.LSTM变形

技术分享图片

 

 

 

小结:

LSTM实现了三个门计算,即遗忘门,输入门,和输出门。
LSTM的一个初始化技巧就是将输出门的bias置为正数(例如1或5,这点可以查看各大框架代码),

这样模型刚开始训练时forget gate的值接近于1,不会发生梯度消失。
但LSTM有三个门,运算复杂,如何解决?->GRU

4.GRU

技术分享图片

 

 

 

四、扩展

1.Clockwise RNN

技术分享图片

 

 

 

 

2. 基于attention的RNN

什么是attention?
是受到人类注意力机制的启发。人们在进行观察图像的时候,其实并不是一次就
把整幅图像的每个位置像素都看过,大多是根据需求将注意力集中到图像的特定
部分。而且人类会根据之前观察的图像学习到未来要观察图像注意力应该集中的
位置。

技术分享图片

 

第四周:卷积神经网络 part3

原文:https://www.cnblogs.com/yuzhenfu/p/13546184.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!