在本部分，讲义中利用简森不等式（Jensen‘s Inequality）来实现GMM的求解。
在开始之前，首先对该不等式进行说明。由于对数函数f(x)=ln(x)是一个凹函数，可得到下面的不等式
ln[λxi+(1-λ)x2]>=λln(x1)+(1-λ)ln(x2)
推广该式可得到简森不等式（ Jensen‘s Inequality）
其中λi必须满足之和为1。
假设现有的参数为Θ(下面的公式中出现θ上面有~符号的文字中使用Θ来表示))现在想找出新的θ值，使得J(θ)>J(Θ),同样假设m=3为例，那么J(θ)可以表示为：
因此：
在上一篇文章中的推导中βj(xi)的计算是根据Θ，而且
因为βj(xi)之和为1，因此套用简森不等式可得J(θ)>J(Θ)>=Q(θ),因此如果Q(θ)>0,那么J(θ)>J(Θ)则成立。同时我们希望J(θ)-J(Θ)差值越大越好（见图一），
故使用微分的方式计算Q(θ)的最值。由于Q(θ)是θ的函数，因此其他的作为常量:
由拉格朗日乘数法：
对aj微分：
以上三式相加：
所以：
最后的结果：
其中βi的计算是根据Θ得到。因此该方法和上一篇文章中的解法所得结果一致。
原文：http://blog.csdn.net/u011177305/article/details/51253638
