矩母函数是研究分布函数的一个有效的工具。假设 \(X\) 是一个随机变量，具有分布函数 \(F(x)\) ，又假设存在 \(t_0>0\) ，使得当 \(|t|\leq t_0\) 时，有 \({\rm E}(e^{tX})<\infty\) ，则定义
称 \(\psi(t)\) 为 \(X\) 的矩母函数。
当矩母函数存在时，矩母函数唯一地决定其分布函数。理解这一点十分重要，因为这使我们能够用矩母函数刻画随机变量的概率分布。换句话说，如果两个随机变量拥有有限且相同的矩母函数，则这两个随机变量同分布。
对矩母函数 \(\psi(t)\) 逐次求导并计算在 \(t=0\) 点的值能得到 \(X\) 的各阶矩，即
计算在 \(t=0\) 点的值有
但由于矩母函数并不总是存在，因此我们需要引入更一般的工具。
特征函数对于研究随机变量的分布函数起着重要的作用，相比于矩母函数，随机变量的特征函数总是存在的。给定随机变量 \(X\) ，分布函数为 \(F(x)\) ，定义 \(X\) 的特征函数为：
由 \(e^{{\rm i}tx}=\cos tx+{\rm i}\sin tx\) 知，任何随机变量的特征函数都存在。
特征函数具有下列基本性质：
指数分布的概率密度和概率分布：
一个连续随机变量 \(X\) 的概率密度函数若为
\[f(x)=\left\{ \begin{array}{ll} \lambda e^{-\lambda x} \ \ , &x\geq0 \0 \ \ , & x<0 \end{array} \right. \]或等价得其分布函数为
\[F(x)=\int_{-\infty}^xf(u){\rm d}u=\left\{ \begin{array}{ll} 1-e^{-\lambda x} \ \ , &x\geq0 \0 \ \ , & x<0 \end{array} \right. \]则称 \(X\) 服从参数为 \(\lambda \ \ (\lambda>0)\) 的指数分布。
指数分布的矩母函数：
对 \(\psi(t)\) 求导可以的得到 \(X\) 的各阶矩，例如：
服从指数分布的随机变量之所以有很大的用处，是因为它们具有无记忆性。首先我们给出无记忆性的定义：一个随机变量 \(X\) 称为无记忆的，若
指数分布的无记忆性可以由失效率函数进一步阐述：
考虑一个连续随机变量 \(X\) ，有分布函数 \(F(x)\) 和密度函数 \(f(x)\) 。定义失效率函数 \(\lambda(t)\) 为：
其中 \(\bar{F}(x)=P(X>x)=1-F(x)\) 。
为了解释 \(\lambda(t)\) 的意义，我们把 \(X\) 设想为某种元件的寿命，且假定 \(X\) 已经存活 \(t\) 小时。现在我们想求再过 \({\rm d}t\) 的时间它失效的概率，即有
由此可见，\(\lambda(t)\) 可以表示一个存活时间为 \(t\) 的元件的失效概率强度。
现在假设随机变量 \(X\) 是服从指数分布的，由 \(X\) 的无记忆性，一个存活时间为 \(t\) 的元件和一个新元件的剩余寿命应该具有相同的分布。因此，\(\lambda(t)\) 应该是一个与 \(t\) 无关的常数。我们将指数分布的密度函数和分布函数代入 \(\lambda(t)\) 的定义式中，显然有
所以，服从参数为 \(\lambda\) 的指数分布的失效率函数就是常数 \(\lambda\) ，参数 \(\lambda\) 也被称为指数分布的速率。
还有一个重要的定理：失效率函数和分布函数相互唯一确定。证明这个定理只需要将 \(\lambda(t)\) 定义式中的密度函数写成微分的形式：
积分可得：
这里的 \(k\) 和 \(c\) 都是积分过程中产生的任意常数。由 \(F(0)=0\) 可以唯一解出 \(c=1\) ，因而
假设 \((\Omega,\,\mathscr{F},\,P)\) 是概率空间，\(X,\,X_n,\,n\geq1\) 是一列随机变量。如果对任意的 \(\varepsilon>0\) ，
\[\lim_{n\to\infty}P\left(\omega:|X_n(\omega)-X(\omega)|>\varepsilon\right)=0 \ , \]则称 \(X_n\) 依概率收敛于 \(X\) ，记作 \(X_n\xrightarrow{P} X\) 。
基本性质：
如果 \(X_n\xrightarrow{P}X\) ，\(Y_n\xrightarrow{P}Y\) ，则 \(P(X=Y)=1\) ，即 \(X=Y \ \ {\rm a.s.}\) 。
如果 \(X_n\xrightarrow{P}X\) ，\(X_n-Y_n\xrightarrow{P}0\) ，则 \(Y_n\xrightarrow{P} X\) 。
令 \(a_n,\,b_n,\,n\geq1\) 是一常数列，如果 \(a_n\to a\)，\(b_n\to b\) ，并且 \(X_n\xrightarrow{P}X\) ，则
? 如果进一步要求 \(Y\neq0\) ，则
假设 \(F(x),\,F_n(x),\,n\geq1\) 是一列分布函数，如果对每一个 \(F\) 的连续点 \(x\) ，都有
\[\lim_{n\to\infty}F_n(x)=F(x) \ , \]则称 \(X_n\) 依分布收敛于 \(X\) ，记作 \(X_n\xrightarrow{d}X\) 。
基本性质：
如果 \(X_n\xrightarrow{P}X\) ，则 \(X_n\xrightarrow{d}X\) 。这说明依分布收敛弱于依概率收敛。
令 \(c\) 是常数，则 \(X_n\xrightarrow{P}c\) 当且仅当 \(X_n\xrightarrow{d}c\) 。
如果 \(X_n\xrightarrow{d}X\) ，\(X_n-Y_n\xrightarrow{P}0\) ，则 \(Y_n\xrightarrow{d} X\) 。
令 \(a_n,\,b_n,\,n\geq1\) 是一常数列，如果 \(a_n\to a\)，\(b_n\to b\) ，并且 \(X_n\xrightarrow{d}X\) ，则
依分布收敛最经典的判别法就是 Levy 连续性定理，将分布函数和特征函数联系起来。
假设 \(X,\,X_n,\,n\geq1\) 是一列随机变量，特征函数分别为 \(\phi(t),\,\phi_n(t)\) ，则 \(X_n\xrightarrow{d}X\) 当且仅当对每个 \(t\) ，都有 \(\displaystyle\lim_{n\to\infty}\phi_n(t)=\phi(t) \ , \ \ t\in\mathbb{R}\) 。
如果存在一个函数 \(\phi(t)\) 使得对每个 \(t\) ，\(\displaystyle\lim_{n\to\infty}\phi_n(t)=\phi(t)\) ，并且 \(\phi(t)\) 在 \(t=0\) 处连续，则一定存在一个随机变量 \(X\) 其特征函数为 \(\phi(t)\) ，并且 \(X_n\xrightarrow{d}X\) 。
假设 \(X,\,X_n,\,n\geq1\) 是一列随机变量，如果存在一个零概率事件 \(\Omega_0\) ，\(P(\Omega_0)=0\) ，并且对于任意 \(\omega\in\Omega\backslash\Omega_0\) ，当 \(n\to\infty\) 时，有 \(X_n(\omega)\to X(\omega)\) ，则称 \(X_n\) 几乎处处收敛于 \(X\) ，记作 \(X_n\to X \ \ {\rm a.s.}\) 。
几乎处处收敛是各种收敛性最强的一种。
基本性质：
如果 \(X_n\to X \ \ {\rm a.s.}\) ，则 \(X_n\xrightarrow{P}X\) 。这也说明依概率收敛弱于几乎处处收敛。
如果对任意的 \(\varepsilon>0\) ，
? 则 \(X_n\to X \ \ {\rm a.s.}\) 。
假设 \(X,\,X_n,\,n\geq1\) 是一列随机变量，具有有限 \(r\) 阶矩 \((r>0)\) 。如果
\[\lim_{n\to\infty}{\rm E}|X_n-X|^r=0 \ , \]则称 \(X_n\) \(r\) 阶均方收敛到 \(X\) ，记作 \(X_n\xrightarrow{L^r}X\) 。
一般地，我们讨论 \(r=2\) 的情况。
基本性质：
如果 \(X_n\xrightarrow{L^2}X\) ，则 \(X_n\xrightarrow{P}X\) 。这说明均方收敛强于依概率收敛。
如果 \(X_n\xrightarrow{L^2}X\) ，\(Y_n\xrightarrow{L^2}Y\) ，则 \(X=Y \ \ {\rm a.s.}\) 。
假设存在一个常数 \(M>0\) ，使得 \(|X_n|\leq M \ \ {\rm a.s.}\) ，并且 \(X_n\xrightarrow{P}X\) ，则 \(X_n\xrightarrow{L^2}X\) 。
如果 \(X_n\xrightarrow{L^2}X\) ，则 \({\rm E}X_n\to{\rm E}X\) 。
1. Bernoulli 大数定律
假设 \(S_n\sim B(n,\,p)\) ，\(n\geq1\) ，\(0<p<1\) ，则 \(\dfrac{S_n}{n}\xrightarrow{P}p\) 。
2. Chebyschev 大数定律
假设 \(\xi_n,\,n\geq1\) 是一列随机变量，\({\rm E}\xi_n^2<\infty\) 。令 \(S_n=\sum\limits_{k=1}^n\xi_k\) ，如果
\[\lim_{n\to\infty}\frac{{\rm Var}(S_n)}{n^2}=0 \ , \]则
\[\frac{S_n-{\rm E}S_n}{n}\xrightarrow{P}0 \ . \]
3. Khinchine 大数定律
假设 \(\xi_n,\,n\geq1\) 是一列独立同分布随机变量，\({\rm E}\xi_1=\mu\) ，令 \(S_n=\sum\limits_{k=1}^n\xi_k\) ，则
\[\frac{S_n}{n}\xrightarrow{P}\mu \ . \]
1. Borel 强大数定律
令 \(\xi_n,\,n\geq1\) 是一列独立同分布的随机变量，分布为：
\[P(\xi_1=1)=p \ , \ \ \ \ P(\xi_1=0)=1-p \ . \]定义 \(S_n=\sum\limits_{k=1}^\infty\xi_k\) ，则有
\[\frac{S_n}{n}\to p \ \ {\rm a.s.} \ . \]
2. Kolmogorov 强大数定律
令 \(\xi_n,\,n\geq1\) 是一列独立同分布的随机变量，\({\rm E}\xi_1=\mu\) 。定义 \(S_n=\sum\limits_{k=1}^\infty\xi_k\) ，则有
\[\frac{S_n}{n}\to\mu \ \ {\rm a.s.} \ . \]
1. De Moivre-Laplace 中心极限定理
假设 \(S_n\sim B(n,\,p)\) ，\(n\geq1\) ，\(0<p<1\) 。则
\[\frac{S_n-np}{\sqrt{np(1-p)}}\xrightarrow{d} N(0,\,1) \ . \]
2. Levy-Feller 中心极限定理
假设 \(\xi_n,\,n\geq1\) 是一列独立同分布随机变量，\({\rm E}\xi_1=\mu\) ，\({\rm Var}(\xi_1)=\sigma^2<\infty\) ，则
\[\frac{S_n-n\mu}{\sqrt{n}\sigma}\xrightarrow{d}N(0,\,1) \ . \]
令 \(X_n,\,n\geq1\) 是一列单调不减的非负随机变量，即 \(0\leq X_n\leq X_{n+1} \ \ {\rm a.s.}\) 。如果 \(X_n\to X\ \ {\rm a.s.}\) ，则有
\[\lim_{n\to\infty}{\rm E}X_n={\rm E}X \ . \]
令 \(X_n,\,n\geq1\) 是一列单调非负随机变量，则有
\[\lim_{n\to\infty}{\rm E}X_n\geq {\rm E}\left(\lim_{n\to\infty}X_n\right) \ . \]
在 Fatou 引理中，对 \(X_n\) 的收敛方式没有作任何要求。
令 \(X_n,\,n\geq1\) 是一列随机变量，假设存在一个随机变量 \(Y\) ，使得 \({\rm E}|Y|<\infty\) ，并且 \(|X_n|\leq Y \ \ {\rm a.s.}\) ，如果 \(X_n\to X \ \ {\rm a.s.}\) 或 \(X_n\xrightarrow{P}X\) ，则
\[\lim_{n\to\infty} {\rm E}X_n={\rm E}X \ . \]
设对 \(a\leq t\leq b\) ，\(X_t\) 是随机变量，如果 \(\displaystyle\int_a^b{\rm E}|X_t|{\rm d}t<\infty\) ，或对所有 \(a\leq t\leq b\) 都有 \(X_t\) 非负，则
\[{\rm E}\left(\int_a^bX_t{\rm d}t\right)=\int_a^b{\rm E}\left(X_t\right){\rm d}t \ . \]
Fubini 定理主要为我们提供了期望和积分可以交换顺序的条件。
原文：https://www.cnblogs.com/lixddd/p/14370487.html