第五次作业

3      I(X;Y)=ΣP(XiYj)log(P(Xi|Yj)/P(Xi))

                 =ΣP(XiYj)log(1/P(Xi))-ΣP(XiYj)log(1/P(Xi|Yj))

                 =ΣP(Xi)log(1/P(Xi))-ΣP(XiYj)log(1/P(Xi|Yj))

                 =H(X)-H(X|Y)

9      能进行有损压缩，但不能进行无损压缩。在有冗余度得情况下，为压缩信号提供了基础，也提高通信效率。这样的压缩有损无损都能进行。对于有冗余度的信源来说，无损压缩与有损压缩都能实现，这取决于压缩的程度。但是没有冗余度得信源来说，只能进行有损压缩。所以没有冗余度的信源，只能进行有损压缩，而不能进行无损压缩。

12    能。等概率分布的信源不代表他们之间不相关，至少能针对这种情况可以进行有损压缩，至于能不能进行无损压缩就需要根据具体的情况而定。例如对方波信号或锯齿波信号的均匀取样值。

15    错。图像的正片与负片的熵是一样的，即是说无论正片还是负片，图像的冗余度都是一样的，进行的压缩的程度肯定是一样的。

16    对。因为只要有相关的信源，那么信源就是冗余的，有冗余即是说携带的信息不相同，分布不均匀，就存在着数据压缩的可能。所以相关信源是非等概率分布的。

第五次作业

原文：http://www.cnblogs.com/makaihao/p/6087255.html