概率越小,信息量越大,事件$X=x_0$的信息量为:
$$I(x_0)=-log(p(x_0))$$
熵表示所有信息量的期望:
$$H(x)=-\sum_{i=1}^n p(x_i)log(p(x_i))$$
其中n代表事件X有n种可能
$$D_{KL}(p||q)=\sum_{i=1}^np(x_i)log(\frac{p(x_i)}{q(x_i)}$$
物理意义:如果用P来描述目标问题,而不是用Q来描述问题,得到的信息增量
在机器学习中,P往往表示样本的真实分布,q表示模型预测的分布,相对熵越小,表示q分布和p分布越接近
相对熵可以变形为:
$$D_{KL}(p||q)=-H(p(x))+[-\sum_{i=1}^np(x_i)log(q(x_i))]$$
等式的前半部分是p的熵,后半部分就是交叉熵:
$$H(p,q)=-\sum_{i=1}^np(x_i)log(q(x_i))$$
在机器学习中,我们需要评估labl和predicts之间的差距,可以使用KL散度,但由于KL散度前半部分不变,故在优化过程中,只需要关注交叉熵就行,所以一般在机器学习中直接用交叉熵作为loss函数,评估模型。
1、为什么用交叉熵做loss函数
2、交叉熵在单分类中的使用
3、交叉熵在多分类中使用
原文:https://www.cnblogs.com/yzh1024/p/11262900.html