首页 > 其他 > 详细

深度学习Inception

时间:2018-02-22 20:37:45      阅读:65      评论:0      收藏:0      [点我收藏+]

标签:div   tar   target   -i   高可用   googl   cep   sid   可用   

Inception的发展经历了4个版本,不太了解的童鞋可以参考:Short history of the Inception deep learning architecture

第一次学习GoogLeNet网络架构就深深被Inception的设计所吸引(如下图右),摸索着学习了部分设计灵感。

  

Inception V1的原始设计如下图(左)所示。

  灵感:减少人工调整每个卷积窗口的大小&加深网络,是不是可以在同一层中具备不同大小的卷积(1*1,3*3,5*5,3*3池化)学习到输入图像的稀疏/不稀疏特征?

技术分享图片

 GoogleLeNet中的使用了许多Inception V1 network, 架构参数减少了许多

技术分享图片

Inception V1

  启发:

  1.最后阶段的full connection layer不是必须的,global average pooling可代替FC层减少over fitting risk。

  2.Inception v1通过DepthConcat将多类型卷积输出的feature block合成,获得非线性属性。不用像传统的卷积层后面通过增加激活函数/pooling层增加非线性。

  

Inception V2:

  主要关于因子分解(传统的7*7卷积,可以分解为三个3*3尺寸的卷积)

 

Inception V3:

  Inception V2变体+Batch Normalize辅助

 

Inception V4:

  标准化,高可用性设计(Inception-A/B/C),详细参考 paer: Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

  技术分享图片技术分享图片

技术分享图片技术分享图片

 

Inception-ResNet:

  Inception和ResNet的结合体

  灵感:ResNet的跳跃连接使得CNN输入信息传递更深,构建更深的网络,加速网络收敛。

  启发:多架构融合和标准化的趋势

 技术分享图片  技术分享图片技术分享图片

 

深度学习Inception

标签:div   tar   target   -i   高可用   googl   cep   sid   可用   

原文:https://www.cnblogs.com/AngelaSunny/p/8459737.html

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
© 2014 bubuko.com 版权所有 鲁ICP备09046678号-4
打开技术之扣,分享程序人生!
             

鲁公网安备 37021202000002号