首页 > 其他 > 详细

关于overfit的随笔

时间:2015-02-24 12:30:19      阅读:230      评论:0      收藏:0      [点我收藏+]

看到@ 爱可可-爱生活转发的文章。稍微看了下,在这里记录下。

overfit是机器学习的一个重要概念。在狭义上可以定义为模型过于复杂,导致模型的generalization不够好。我认为应采用一个广义的定义凡是generalization不行的,都可以定义为overfit。从我的定义出发的话,可以认为这个文章围绕overfit展开,从三个方面讨论了这个新手老鸟都会犯的错误。

第一部分概述了overfit,这一部分可看作从建模的复杂度来讨论overfit,你的模型越复杂越容易overfit。其中overfit是memorizing而不是learning的比喻很贴切。我们需要通过something学到规律而不是仅仅简单的记住someting。我补充下,overfit可以通过bayes的prior来引入regulatization,从而提高generalization。

第二部分从数据的角度来讨论overfit,你用来训练的数据也会带来overfit。这部分可分成两个小节:首先,bias的训练数据当然会bias你的预测,generalization不够好,overfit随之产生。其次,leakage的训练数据,会引入测试数据的规律到模型中,等于您白测了,cross-validating的hyper-param作废了,不能generalization,于是overfit又来了。的确很多论文都没注意这一点,微软就闹过这种笑话。

关于overfit的随笔

原文:http://www.cnblogs.com/congliu/p/4298572.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!