对于一个随机变量x，当我们观察到它的一个具体取值时，我们得到了多少信息呢？如果有人告诉我们一个很不可能发生的事件发生了，我们得到的信息显然要多于我们被告知一个很可能发生的事件发生了。一定会发生的事件，说了跟没说一样，俗称“废话”，不包含信息。
信息熵
原文：http://www.cnblogs.com/yangwenhuan/p/8053324.html
