论文-Searching for MobileNetV3

1、引言

　　主要创新：

　　1）complementary search techniques

　　2）new efficient versions of nonlinearities practical for mobile setting

　　3）new efficient network design

　　4）a new efficient segmentation decoder

2、相关工作

　　1）novel handcrafted structures

　　　　SqueezeNet、MobileNet、ShuffleNet、CondenseNet、ShiftNet

　　2）algorithmic neural architecture search

　　3）quantization 

　　4）knowledge distillation

3、高效的mobile building blocks

　　1）MobileNet-V1:depth-wise separable convolution

　　2）MobileNet-V2:linear bottleneck and inverted residual 

　　3）MnasNet:light attention modules based on squeeze and excitation into the bottleneck

4、网络搜索

　　1）全局网络结构（block-wise）：platform-aware NAS(network architecture search) 

　　2）每层filters的数量（layer-wise）：NetAdapt algorithm 

5、网络提升

　　主要创新：重新设计网络最开始和最后computionally-expensive 的层，介绍了一种新的nonlinearity-h-swish，计算更快且对于量化更加友好。

　　1）重新设计expensive layers

　　之前的模型一般都将1*1 conv作为最终的layer，以展开到一个更高维的特征空间

论文-Searching for MobileNetV3

原文：https://www.cnblogs.com/wt-seu/p/12401257.html