参考文献：http://blog.csdn.net/zouxy09/article/details/8537620

极大似然估计

已知样本满足某种概率分布，但是其中具体的参数不清楚，极大似然估计估计就是把待估参数看做是确定性的量，只是其取值未知。最佳估计就是使得产生当前样本的概率最大下的参数值。

贝叶斯估计

已知样本满足某种概率分布，但参数未知。贝叶斯估计把待估参数看成符合某种先验概率分布的随机变量。对样本进行观测的过程就是把先验概率密度转化为后验概率密度，这样就利用样本信息修正了对参数的初始估计值。

EM算法

EM算法（Expectation-maximization）：

     期望最大算法是一种迭代算法，用于含有隐含变量概率模型参数的极大似然估计或后验概率估计。

EM的算法流程：

初始化分布参数θ；

重复以下步骤直到收敛：

        E步骤：根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率，其实就是隐性变量的期望。作为隐藏变量的现估计值：

       

        M步骤：将似然函数最大化以修正新的参数值：

        这个不断的迭代，就可以得到使似然函数L(θ)最大化的参数θ了。

 EM算法有很多的应用，最广泛的就是GMM混合高斯模型、聚类、HMM等等。具体可以参考JerryLead的cnblog中的Machine Learning专栏。

极大似然估计、贝叶斯估计、EM算法

原文：http://www.cnblogs.com/z-sm/p/5107895.html