首页 > 其他 > 详细

损失函数

时间:2019-07-18 14:02:23      阅读:148      评论:0      收藏:0      [点我收藏+]

深度学习中常见的损失函数分为两种:分类损失和回归损失

                  技术分享图片

Log loss即交叉熵损失:https://blog.csdn.net/google19890102/article/details/79496256

Focal Loss:

技术分享图片

设计理念:网络在学习的时候往往有大量的负样本(背景),这些样本相对容易学习,置信度很高导致loss值很小,大量的负样本置信度聚集在0.6-1.0间,淹没需要学习的正样本,每个batch会更新大量的负样本权值,导致学习效率降低和网络性能;Focal Loss的想法是降低简单样本的损失,将网络的梯度更新偏向0-0.4置信度的样本,增强网络的分类性能。在损失函数设计时可以采取类似的想法,让网络学习偏向需要重点学习的部分,对于简单不重要的部分可以简化学习。

 

 

 

 

 

 

1

损失函数

原文:https://www.cnblogs.com/Manuel/p/11206546.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!