在图像处理中,往往把图像表示为像素的向量,比如一个1000*1000大小的图像,可以表示为一个1000000的向量。如果隐藏层数目和输入层一样的话,那么输入层到隐藏层的参数数据为10的12次方,数据量太大,几乎无法训练。所以图像处理第一步首先必须减少参数。
降低参数数目的第一种方法叫做局部感知野。一般认为人对外界的认识是从局部到全局的,而图像的空间联系也是局部的像素联系较为紧密,而距离较远的像素相关性则较弱。因为,每个神经元其实并没有必要对全局图像进行感知,只需要对局部进行感知,然后在更高层将局部的信息总和起来就得到了全局信息。
如下图的3*3步长为1卷积操作为例,相邻两层中后层神经元在前层的感受野仅为3×3,但随着卷积操作的叠加,第L+3层的神经元在第L层的感受野可扩增至7×7。
也就是说,小卷积核通过多层叠加可取得与大卷积核同等规模的感受野,此外还有两个优势:
1、由于小卷积核需要多层叠加,加深了网络深度进而增强了网络容量。
2、增加了网络容量的同时减少了参数的个数。
原文:https://www.cnblogs.com/MrSaver/p/10357506.html