本系列笔记内容参考来源为李航《统计学习方法》
最大熵原理认为学习概率模型时，熵最大的模型是最好的模型。
设离散随机变量X的概率分布是P(X)，则其熵是
首先考虑模型应满足的条件，给定训练数据集，可确定联合分布P（X,Y）的经验分布和边缘分布P（X）的经验分布
书中将约束最优化的原始问题转换为无约束最优化的对偶问题，通过求解对偶问题求解原始问题。
《统计学习方法》笔记六（2） 最大熵模型
原文：https://www.cnblogs.com/wwf828/p/9914439.html
