首页 > Web开发 > 详细

Multi-Fiber Networks for Video Recognition (MFNet)

时间:2018-10-16 00:11:35      阅读:771      评论:0      收藏:0      [点我收藏+]

Motivation:减少时空网络的计算量,保持视频分类精度上的基础上,使得速度尽可能接近对应网络的2D版本。

为此提出 Multi-Fiber 网络,将复杂网络拆分成轻量网络的集成,利用 fibers 间的信息流引入多路器模块。

Result:比I3D和R(2+1)D分别少9倍,13倍的计算量,但精度更高,UCF-101, HMDB-51 and Kinetics 上的 state of the art。

2D网络需要10s GFLOP来处理单帧,3D网络需要100s GFLOP处理一个clip,作者认为3D网络有能力进一步提高因为融入了时空信息。

与Du tran和xie sai ning提出的R(2+1)D和S3D用1x3x3, 3x1x1时空分解卷积替代3x3x3这种做法不同,以上两种方法很难在实际应用,因为相对他们的2D版本有数量级的复杂度,受low-power MobileNet-v2网络的启发以及通过分组卷积稀疏化做法的启发,作者提出稀疏连接结构,

作者提出multi-fibers结构并在2D CNN图片分类上实验确认结构的有效性,后扩展为时空CNN

技术分享图片

(a) resnet block (b) resNeXet block (c) fibers(author) (d) 加入multiplexer 传递不同fiber间信息 (e) 两个线性层降维和升维

Multi-Fiber Networks 

 

Multi-Fiber Networks for Video Recognition (MFNet)

原文:https://www.cnblogs.com/demian/p/9795309.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!