一、定义
最大似然估计是一种根据样本来估计模型参数的方法。其思想是,对于已知的样本,假设它服从某种模型,估计模型中未知的参数,使该模型出现这些样本的概率最大。这样就得到了未知参数的估计值。
二、过程
举例而言,我们要统计全国人口的体重,首先假设全国人口的体重服从正态分布,但均值和方差未知。由于我们没有那么多的人力和物力来统计,因此我们可以采样,通过最大似然估计的方法来评估这个正态分布的均值和方差。
1. 列出似然函数
假设样本
是独立同分布,正态分布的概率密度函数用
表示,未知参数用
表示,那么这个模型就可以表示为:
则似然函数就表示为:
2. 对似然函数取对数
在实际计算时,为了方便,对上式两边取对数:
其中,
称为对数似然。我们所说的求最大似然,其实就是求最大对数似然:
3. 求导数
那么
在什么时候取最大值呢?最简洁的方法便是求导数,解似然函数方程:
最大似然估计(Maximum likelihood estimation)
原文:http://blog.csdn.net/u014313009/article/details/39802295