1、自信息
一件事发生的概率越大，其所带的信息量就越小，反之发生的概率越小，信息量就越大。
自信息就是以概率p(x)观察到某一事件发生所携带的信息量，自信息也是概率越大信息量就越小，也可以理解为某个概率事件进行编码所需要的最小编码长度
2、信息熵／香农熵
熵是平均自信息量，
自信息、信息熵和相对熵
原文：https://www.cnblogs.com/zhaopAC/p/9562738.html
