主要来源模式识别课程大作业,本文首先感谢当初的助教和一起完成作业的队友
matconvent在matlab下封装了CNN常见算法,网址http://www.vlfeat.org/matconvnet/,本文采用matconvnet-1.0-beta16.tar.gz
利用matconvnet工具包中对mnist手写数字体设计的cnn结构,识别人脸性别。主程序为“cnn_mnist.m”,而cnn结构初始化在“cnn_mnist_init.m”中完成,网络结构不需要重新设计,只需要在cnn_mnist.m中更改数据的输入,在cnn_mnist_init.m更改网络的输出。
对于本题数据集,“train”中图片为训练集,“val”中为验证集,“test”中为测试集。首先利用“train”和“val”中人脸图片训练cnn网络权重,最后对训练好的网络用“test”中数据进行测试。
本题主程序所在M文件为“cnn_mnist_new.m”;网络结构文件为“cnn_mnist_init_new.m”;“test_p1.m”为对训练好的网络进行测试的主程序。
网络激活函数,在缺省情况下,默认为“sigmoid”。
首先在“cnn_mnist_init_new.m”中先拷贝“cnn_mnist.m”中代码,然后主要更改其中“getMnistImdb”函数。由于mnist数据集中的图像数据 ,而本次实验中,所用图片大小为 ,因此,需要把这些数字图像压缩为 。
函数“getMnistImdb”中变量“x1”存储训练集中的图片,男性和女性的人脸图片给300张,其前300维存储男性,后300维存储女性;而变量“y1”存储训练集对应的标签,也是其前300维存储男性,后300维存储女性,这里需要注意的是,matconvnet不能把类别标签设置为“0”,否则对其他一些类别不能再识别;而本次作业为二分类问题,这里,男性对应于标签“1”,女性对应于标签“2”。同理,“x2”和“y2”对应于验证集中的数据,其中男性和女性图片各80张。
作为说明,这里只给出读取训练集数据中女性的示例代码:
%x1(:,:,1:300) stores female images in the train set %x1(:,:,301:600) stores male images in the train set x1=zeros(28,28,600); %y1(1:300) stores female labels(1) in the train set %y1(301:600) stores male labels(2) in the train set y1=cat(2,ones(1,300),ones(1,300)+1); %读取训练集图片-female img_file_path=fullfile(vl_rootnn,‘examples\mnist\image\image\new\train\female‘); img_dir=dir(img_file_path); for i=1:length(img_dir)-2 filename=sprintf(‘%s\\%s\\fy.bmp‘,img_file_path,img_dir(i+2).name); I=imread(filename); I=imresize(I,[28,28]); %将图片压缩为28*28大小 x1(:,:,i)=I; end
另外,为了防止过拟合,“cnn_mnist_init_new.m”中加入dropout,所谓“dropout”就是在训练过程中,随机让一些节点不参与计算,加入方式为:
net.layers{end+1} = struct(‘type‘, ‘dropout‘, ‘rate‘, 0.5);
并且迭代次数设置为300,最重要的是,要把“softmaxloss”前一全连接层中神经元输出节点改2,即:
net.layers{end+1} = struct(‘type‘, ‘conv‘, ... ‘weights‘, {{f*randn(1,1,500,2, ‘single‘), zeros(1,2,‘single‘)}}, ... ‘stride‘, 1, ... ‘pad‘, 0) ;
执行“cnn_mnist_init_new.m”可以得到如下结果:
其中,“energy”训练过程中训练集和和验证集的总的误差能量之和;而“error”分别对应训练集和验证机的错误率,“top1err”是“softmax”层输出过程中最高得分项对应错误率,而由于是二分类问题,“top5err”(前5项得分最高项对应错误率)是没有意义的。
这里需要说明一下,由于是二分类问题,最后分类器一般“logistic regression”,而“softmax”是“logistic regression”升级版,支持多分类问题。由于,我们网络最后是全连接到2个神经元上,其中“1”代表女性,“2”代表男性(需要注意的是,运用“softmax”,matconvnet类别标签是不支持0的),并且通过“softmax”进行分类。“test_p1.m”是对已经训练好的网络测试“test”文件夹下数据的主程序。测试集共265张图片,其中男性56张,女性209张。读取数据过程和“cnn_mnist_new.m”相似,这里不再赘述。而加载网络主要过程:
train_imdb_path=fullfile(vl_rootnn,‘\examples\mnist\problem1\problem-1-net-epoch\imdb.mat‘); load(net_path); net.layers{end}.type = ‘softmax‘;
其中,“net_path”为网络所在文件路径,并且要主要加载网络之后,要把原来的“softmaxloss”改为“softmax”。并且处理测试集数据时候,要把测试集的数据减去训练集的均值(因为训练时候,预处理过程含有去均值的过程),其中,均值存储在训练集中的“imdb”结构体中,
示例代码如下:
test_set=single(test_set); train_imdb_path=fullfile(vl_rootnn,‘\examples\mnist\problem1\problem-1-net-epoch\imdb.mat‘); train_imdb=load(train_imdb_path); train_data_mean=train_imdb.images.data_mean; test_set=bsxfun(@minus,test_set,train_data_mean);
而这个前向过程的输出主要利用函数“vl_simplenn”,示例如下:
err_cnt=0; best_scores=zeros(1,female_num+male_num); err_id=zeros(1,female_num+male_num); for i=1:(female_num+male_num) res=vl_simplenn(net,test_set(:,:,i)); scores=squeeze(gather(res(end).x)); [best_score, best_id] = max(scores); best_scores(i)=best_score; if abs(str2double(net.meta.classes.name{best_id})-test_label(i))>1e-1; err_cnt=err_cnt+1; err_id(i)=1; end end err_rate=err_cnt/(female_num+male_num);
原文:http://blog.csdn.net/bizer_csdn/article/details/54755843