香农：奠定了现代信息论基础，定义信息的单位比特。
32支球队，预测世界杯冠军，不知道任何信息的情况下，使用二分法最少需要猜5次。
5 = - (1/32log1/32 + 1/32log1/32 + ...+ 1/32log1/32)
而在开放一些信息后（如前10次比赛的情况或者已知一些球队的获胜概率），“谁是世界杯冠军”的信息量应该比5比特少。
香农指出，它的准确信息量应该是：
5 > - (1/4log1/4 + 1/8log1/8 + ...+ 1/6log1/6)
2、决策树的生成
3、
原文：https://www.cnblogs.com/ysysyzz/p/12230021.html