总体 X 的分布函数 \(F(x,\theta)\) 形式已知但含有未知参数 \(\theta\)，通过样本来估计关于 \(\theta\) 的信息，称为参数估计。
点估计问题构造统计量 \(\hat \theta(X_1,...,X_n)\) 用其观察值来估计未知参数 \(\theta\)，称 \(\hat \theta (X_1,...,X_n)\) 时 \(\theta\) 的估计量，\(\hat \theta (x_1,...,x_n)\) 是 \(\theta\) 的估计值。
由辛钦定理，样本原点矩依概率收敛到总体原点矩，若将总体原点矩的期望表示为待估参数 \(\theta\) 的函数，则可以获得若干个关于待估参数的方程，进而求解参数的估计值。
通常来说，能用低阶原点矩进行估计就不使用高阶原点矩，这里同时涉及到估计的准确性与计算的复杂度问题。
对似然函数 \(L(\theta)=\prod_{i=1}^n f(X_i;\theta)\) 而言，样本值 \(x_1,...,x_n\) 都是常数，似然函数是 \(\theta\) 的函数，我们希望取得某种参数值 \(\hat \theta\) 使得 \(L(\theta)\) 达到最大。
换言之，我们就是要找到一种参数，使得这种参数分布下抽取得到这样的样本的概率最大，这种分布参数就是对总体分布参数的最大似然估计。
实际求解时，通常使用对数似然函数 \(\ln L(\theta)\)，将其对参数求偏导数后令为 \(0\) 以求解驻点。如果由多个参数，则构成多个方程。总之转化为了单/多元函数的最值问题。
估计量的期望 \(E\hat\theta = \theta\)，则是无偏估计。若 \(\lim_{n\to \infty} E\hat\theta=\theta\)，则称为渐进无偏估计。
若 \(E\hat\theta_1=E\hat\theta_2=\theta\)，若有 \(D\hat\theta_1 \le D\hat\theta_2\) 则称 \(\hat\theta_1\) 比 \(\hat\theta_2\) 有效。
所有无偏估计中，方差最小的无偏估计称为最小方差无偏估计，或有效估计。
点估计的方差的下界为 \(\displaystyle \frac 1 {nI(\theta)}\)，其中 \(I(\theta)\) 是 Fisher 信息数。
若估计量 \(\hat\theta\) 依概率收敛到 \(\theta\)，则称 \(\hat\theta\) 是 \(\theta\) 的相合估计量。
根据辛钦定理，所有的矩估计都是相合估计。
原文：https://www.cnblogs.com/mollnn/p/14838335.html