首页 > 其他 > 详细

Batch Normalization 与Dropout 的冲突

时间:2018-08-14 16:34:13      阅读:590      评论:0      收藏:0      [点我收藏+]

 

  BN或Dropout单独使用能加速训练速度并且避免过拟合

  但是倘若一起使用,会产生负面效果。

  BN在某些情况下会削弱Dropout的效果

  

  对此,BN与Dropout最好不要一起用,若一定要一起用,有2中方法:

    1 在所有BN层后使用Dropout

    2 修改Dropout公式(如使用高斯Dropout)使得它对方差不是那么敏感

    总体思路是降低方差偏移

 

reference

  https://zhuanlan.zhihu.com/p/33101420

Batch Normalization 与Dropout 的冲突

原文:https://www.cnblogs.com/cbattle/p/9475361.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!