介绍
当你有面对一大堆特征手无足措的时候，这时候你应该先考虑生成一个特征效用度量：
特征效用度量又叫互信息，互信息与相关系数类似，都是衡量两个数值的关系的，但区别是相关系数只能检测线性关系，而互信息可以检测任何一种关系。
用法：
当互信息等于0时，数值之间是没有关系的。不设上限，然而大于2.0的互信息一般不是很常见。
注意点：
mi（互信息）能帮助你找到对target（结果）具有潜在关系的特征。
mi无法找到两个特征之间的影响程度，原因是他是单变量度量。
即便特征mi很高，但也有可能对模型一点作用没有，因为模型学习的是跟结果有关的特征的关系。
原文：https://www.cnblogs.com/liuguangshou123/p/14811660.html