如何理解最后一句话呢，编码信息熵就是平均最小编码长度？
谢谢老师 我懂了
信息熵就是平均最小编码长度
信息熵想用最短的码表示信息。
熵公式，有数学期望，对概率求对数，表示单符号的信息量。
所以信息熵的期望就是平均信息。 平均两个字有了。
再说最小，最小我没法严格的推到，我只能说服我自己
设二进制，k个数据等概，p（xi)是1/k，
h（x）= -Σp（xi）×log（p（xi）
log以二为底，所以信息熵刚好是以2为底k的对数。
如果k取是二指数倍，刚好就是二进制的位数，
k不是整数倍，floor（k）是他最小的表示方法。因为不能用小数。
小数当然比floor（小数）要小。
所以信息熵是最小的平均编码长度
编码长度就是-log（p（xi）
然后把平均，最小，编码长度串接在一起。我估计就是作者的意思了
log以二为底，所以信息熵刚好是以2为底k的对数。
如果k取是二指数倍，刚好就是二进制的位数，
k不是整数倍，floor（k）是他最小的表示方法。因为不能用小数。
小数当然比floor（小数）要小。
所以信息熵是最小的平均编码长度
其实1是最好想的
比如抛硬币，1代表正，0代表反
也可以用，11代表正，00代表反
最短长度是1 h（x）=（1/2）*log（1/2）*2 此时log以2位底数
所以 h（x）等于1 最小
原文：https://www.cnblogs.com/china520/p/10389031.html