Rate distortion
当讨论quantizer中的distortion时, 就是指MSE(可以有别的方法,但是MSE最常见且简单去计算).
conditional entropy(条件熵)可以看作是度量一个source的residual uncertainty(剩余不确定性). 那么在uniform quantization的条件下, 给定x, 那么y就可以直接计算出, 则说明y是确定性的, 则H(Y|X) = 0 (给定x后, y的不确定性就为0; 也可以看作y在x的大圈范围内).
原文：https://www.cnblogs.com/kuki-song/p/14749523.html