分类损失

二分类损失

二分类交叉熵损失(对数似然损失，逻辑回归损失)

多分类损失

多分类交叉熵损失

常于softmax层一起使用

回归损失

mae(L1 loss)与 mse(L2 loss)

mae

mse

mae loss 与mse loss的区别与选择
简而言之，在模型非常优秀的前提下，mae和mse并没有太大的差别，因为误差都很小。但是，当模型性能并不是很好的时候，mse因为多了平方，会导致loss变得很大，所以mse相对于mae对异常值会比较敏感，倾向于给异常值更多的loss，同时，它的特点相比于深度神经网络这种很小的梯度变化而言，loss的变大更有利于梯度的更新。同时，如果训练数据被异常点所污染，那么MAE损失就更好用。

各种损失函数的特点及选择

原文：https://www.cnblogs.com/zhouyc/p/13599548.html