自编码器是什么?
自编码器本身就是一种BP神经网络。它是一种无监督学习算法。
我们都知道神经网络可以从任意精度逼近任意函数,这里我们让神经网络目标值等于输出值x,也就是模拟一个恒等函数:
太无聊了,是吗?输入等于输出,这网络有什么意义?但是,当我们把自编码神经网络加入某些限制,事情就发生了变化。如图1所示,这就是一个基本的自编码神经网络,可以看到隐含层节点数量要少于输入层节点数量。
图1
举个例子,如果我们输入一张10*10的图像,这样就有100个像素,所以输入层和输出层的节点数量就是100。而我们取隐藏层节点数量为25。注意,这样就会迫使隐藏层节点学习得到输入数据的压缩表示方法,逼得隐藏层要用25维数据重构出100维的数据。这样也就完成了学习过程。
这和我们学习的过程很像,假设一共有100个考点,但是只允许你用25个知识点概括所有这些考点,这就是学习的过程。
稀疏自编码器又是什么?
更一般的,如果隐藏层节点数量很大,甚至比输入层节点数量还要多时,我们仍然可以使用自编码算法,但是这时需要加入稀疏性限制。这就是稀疏自编码器。
什么是稀疏性限制?
简单说就是要保证隐藏神经元在大多数情况下是被抑制的状态。具体表现就是sigmoid函数的输出大多数状态是0,tanh函数的输出大多数状态是-1。这样有什么好处?这样能够迫使隐藏神经元发挥最大的潜力,在很不利的条件下学习到真正的特征。
怎么衡量某个隐藏神经元的激活度?
取平均就好了,假设表示在给定输入x的情况下,隐藏神经元j的激活度,那么自然就有平均激活度
稀疏性惩罚项——相对熵
为了保证这个稀疏度小到我们希望的那么多,比如说,即
我们需要在优化目标函数中加入一个额外的惩罚因子,这个罚因子基于相对熵(KLdivergence):
因此这个罚因子会有如下性质,当时(这里取稀疏性参数为0.2),等于0,而两者差异越来越大时,相对熵会快速趋近于无穷大,如图2所示:
图2
稀疏自编码器训练方式与BP神经网络相对比
稀疏自编码神经网络的代价函数是BP神经网络的代价函数加上一个稀疏性惩罚项:
相应地,残差迭代公式也要进行修正
实现一个稀疏自编码器
数据概览
采用的是Andrew著名的UFLDL给出的样例,其中数据文件叫做IMAGES,这是一个512*512*10的三维数组,里面存了10张图片,每张都是262144像素。执行
<span style="font-size:14px;">loadIMAGES; imagesc(IMAGES(:,:,6)) colormapgray;</span>
可以看看第6张图的样子,如图3所示,是一张关于森林和雪山的图像。
图3
数据采样
由于数据的图片挺大,我们总不能一上来搞一个每层都2万多节点的神经网络训练吧。我们先采样,这里从10张图片里面随机采样10000个小patch,每个小patch是一个8*8像素小碎片,我们定义训练集是64*10000的矩阵。每一列就是把刚刚的小patch拉成列向量的结果。
这里代码如下
<span style="font-size:14px;">loadIMAGES; % load images from disk patchsize= 8; % we'll use 8x8 patches %numpatches = 10; numpatches= 10000; %Initialize patches with zeros. Your codewill fill in this matrix--one %column per patch, 10000 columns. patches= zeros(patchsize*patchsize, numpatches); tic image_size=size(IMAGES); i=randi(image_size(1)-patchsize+1,1,numpatches); j=randi(image_size(2)-patchsize+1,1,numpatches); k=randi(image_size(3),1,numpatches); fornum=1:numpatches patches(:,num)=reshape(IMAGES(i(num):i(num)+patchsize-1,j(num):j(num)+patchsize-1,k(num)),1,[]); end toc</span>
这里randi函数,randi(iMax,m,n)在闭区间[1,iMax]生成m*n型随机矩阵。而reshape函数的作用是把每个小patch拉成一个列向量。
前200个patch的样子如图4所示:
图4
sparseAutoencoderCost.m
这部分代码是最核心也是最重要的,正如前面所说,现在优化目标函数有了3个部分:均方差项、权重衰减项、稀疏惩罚项。
这里程序需要一部分一部分地调试,否则非常容易得到看似正确但实际效果没有正确代码好的错误结果。这里附上我最新修改版本的代码,去掉了所有显式for循环,使用矢量化编程,简洁了代码,增强运行效率,但也减弱了可读性。
<span style="font-size:14px;">numpatches=size(patches,2); a2=sigmoid(W1*patches+repmat(b1,1,numpatches)); a3=sigmoid(W2*a2+repmat(b2,1,numpatches)); Rho=sum(a2,2)/numpatches; Penalty=-sparsityParam./Rho+(1-sparsityParam)./(1-Rho); Delta3=(a3-patches).*a3.*(1-a3); Delta2=(W2'*Delta3+beta*repmat(Penalty,1,numpatches)).*a2.*(1-a2); cost1=sumsqr(a3-patches)/numpatches/2; cost2=(sumsqr(W1)+sumsqr(W2))*lambda/2; cost3=beta*sum(sparsityParam*log(sparsityParam./Rho)+(1-sparsityParam)*log((1-sparsityParam)./(1-Rho))); cost=cost1+cost2+cost3; W2grad=Delta3*a2'/numpatches+lambda*W2; b2grad=sum(Delta3,2)/numpatches; W1grad=Delta2*patches'/numpatches+lambda*W1; b1grad=sum(Delta2,2)/numpatches;</span>
这里repmat的重复使用是用来复制矩阵的,一定要不遗余力去掉这部分代码中所有的显式for循环,否则执行起来时间会很长。
梯度校验
梯度校验是代码调试的大杀器,这一部分我用到了for循环,效率确实非常低了,所以调试的时候要把校验参数做些调整,令隐藏节点数量为2,采样数量为100,这样就能大大加快校验速度。否则要等相当久的时间。
<span style="font-size:14px;">EPSILON=0.0001; thetaspslion=zeros(size(theta)); fori=1:size(theta) thetaspslion(i)=EPSILON; numgrad(i)=(J(theta+thetaspslion)-J(theta-thetaspslion))/2/EPSILON; thetaspslion(i)=0; end</span>
注意:最后运行时一定要关掉梯度校验,不然就要卡死机了。。。
这个梯度校验对于目标函数的3部分的调试一定要循序渐进,心急吃不了热豆腐。均方差项调试正确了以后,会得到如图5所示的图像
图5
而当,均方差项和权重衰减项都调试通过后,得到的图片是这样的
图6
而当所有的目标函数都调试通过以后,接下来就是见证奇迹的时刻!
图7
这就是图像的基,通过稀疏自编码器,我们学习得到了25个8*8的基,这些图像的基就相当于咱们每个视神经细胞所看到的东西,当这些细胞组成阵列,垒成层层叠叠,我们就能看到所有的东西了。
稀疏自编码器作为无监督学习的一层基本模块,这就是我们DeepLearning万里长城的第一步:搞基!
稀疏自编码器及其实现——如何搞基,布布扣,bubuko.com
原文:http://blog.csdn.net/ycheng_sjtu/article/details/38454305