有错欢迎指正，别让小弟继续错下去。
我们在使用机器学习过程中，经常会overfiting，训练样本大的话，还好，不用考虑这个
问题。但是，当数据量小的时候，加上模型的结构还不想改变。比如，你想尝试使用vgg16
网络进行训练，对于vgg的VC维来说是比较大的，但是，你只有几百张图片，这样，的话就很
算法就很容易学不到东西，这时候，你可以尝试加大weight-decay，通过weight-decay抑制over-fiting
也就是减少vgg的VC维（有类似的作用哦），具体可以见：台大，林轩田的《机器学习基石》中14课介绍的。
通常lambda（weight-decay）取0.0001.
当你的数据量很大很大的时候且这时候对于模型不会发生overfilling，这时候，将lambda（weight-decay）=0
反而是更好的选择。
原文：http://www.cnblogs.com/YouXiangLiThon/p/7536836.html