1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0<=H(X)<=log2M。
2.证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。
3.给定符号集A{a1,a2,a3,a4},求以下条件下的一阶熵：
（a） p(a1)=p(a2)=p(a3)=p(a4)=1/4
(b) p(a1)=1/2,p(a2)=1/4, p(a3)=p(a4)=1/8
(c) p(a1)=0.505, p(a2)=1/4, p(a3)=1/8, p(a4)=0.12
原文：http://www.cnblogs.com/rwg-xs/p/5866707.html