3-3证明：I(X;Y)=H(X)-H(X|Y)
3-9没有冗余度的信源还能不能压缩？为什么？
答：没有冗余度的信源也能压缩。这样的压缩会出现两种情况，第一是无损压缩，第二是有损压缩。对于有冗余度的信源来说，无损压缩与有损压缩都能实现；没有冗余度的信源来说，只能进行有损压缩。不能进行无损压缩。
3-12等概率分布的信源还能不能压缩？为什么？你能举例说明吗？
答： 能。因为等概率分布的信源不代表他们之间不相关，可能他们是相关的；例如：对方波信号或锯齿波信号的均匀取样值。
3-15有人认为：“图片的负片（黑白颠倒）比正片更容易压缩”，你同意他的观点吗？为什么？
答：不同意。图像的正负片的熵是相同的，即该图像的冗余度是相同的，所以压缩的容易程度是一样的。
3-16有人认为：“相关信源是非等概率分布的”。你同意他的观点吗？为什么？
答：同意。只要信源不是等概率分布，就存在着数据压缩的可能性。相关信源存在冗余度，能够进行有损和无损压缩，因此相关信源是非等概率分布的。
原文：http://www.cnblogs.com/fightingtaozhiyaoyao/p/6090416.html