表示随机变量不确定性的度量。
只依赖于随机变量X的分布，与其取值无关
0<=H(X)<=log(n),当随机变量X符合均匀分布时，熵最大
最大熵可理解为满足现有约束条件的情况下，其余不确定的信息默认为等可能的
最大熵
原文：http://www.cnblogs.com/smallby/p/5768598.html
