交叉熵：
为了方便记忆，可以联想交叉熵损失函数。
相对熵(KL散度)：
互信息：两个随机变量X，Y的互信息定义为X，Y的联合分布和各自独立分布乘积的相对熵，用I(X,Y)表示：
且有I(X,Y)=D(P(X,Y)||P(X)P(Y))。下面，咱们来计算下H(Y)-I(X,Y)的结果，如下：
交叉熵、(KL散度)相对熵、互信息
原文：https://www.cnblogs.com/zjuhaohaoxuexi/p/11808425.html
