1、logistic回归是统计学习中的经典分类方法。
最大熵模型：最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。
两者都是对数线性模型。
2、二项logstic分类模型：用于二类分布。
多项logstic分类模型：用于多类分布。
3、最大熵模型（maximum entropy model）:是由最大熵原理推导实现。
4、熵最大原理：学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。
5、当X服从均匀分布时，熵最大。
6、改进的迭代尺度法（improved iterative scaling,IIS）:
想法：假设最大熵模型当前的参数向量是w，我们希望找到一个新的参数向量w+delta，使得模型的对数似然函数值增大。如果能有这样一种参数向量更新的方法tao:w-->w+delta,那么就可以重复使用这一方法，直至找到对数似然函数的最大值。
第六章 logistic回归与最大熵模型
原文：http://blog.csdn.net/a2224998/article/details/44875263
