首页 > 其他 > 详细

【1】通过生活的现象来观察大数定律以及中心极限定理

时间:2020-02-23 01:06:14      阅读:98      评论:0      收藏:0      [点我收藏+]

【1】通过生活的现象来观察大数定律以及中心极限定理

这篇文章很早便完成了,期间我又写了小十篇“晦涩的科普“,反复回味的过程中我也不禁反思,除了让大家认识到了数学专业的枯燥意外,读者是否有其他收获?我看过一本书中曾写道,不怕别人不知道,怕的是你不知道他不知道。这句话在我实习以及和人交流技术心得的时候令我感触尤深。

于是,我又开始着手于重构我的文章。在我眼中,我的文章有很多闪光点,例如说把知识的层次解构,由浅极深的讲解一个复杂的定理,并且反复推敲定理的证明过程,力求精确以及通顺。但大家似乎并不感冒,用大白话来讲解一个定理似乎是读者们所喜闻乐见的,毕竟在信息碎片的时代,不是所有人都有时间来思考这些虚无缥缈的东西。

写作要求作者整理自己的思绪并且善于表达,所以善于写作的人一定善于思考。可读者不然,因为阅读不需求任何批判性思维:若不从作者本身的可信度到每一个用词时时盯防,读者也许就会盲目的听信一个对自己空弹琴的人。某种程度上,这样的读者是牺牲品;用自己的时间和脑容量,为一个本没有意义并随即消逝的思想提供了生存空间。

还是希望,为数不多的读者们在我这里能够有所思考,有所收获,共同沉浸在这个逻辑的世界里。

2020/2/22重写本文时瞎jb唠唠。

在我们学习数学分析的时候,曾经遇到过无穷级数这个概念。对于有限部分和的求解是十分困难的,而当我们把尺度上升到无穷个,则问题反而被简化,例如:
\[ \lim_{n\to\infty}(1+x+\frac{x^2}{2!}+\cdots+\frac{x^n}{n!})=\lim_{n\to\infty}\sum_{i=1}^{n}\frac{x^i}{i!}=e^x \]
在概率统计世界中,也有类似的现象,用数学的语言来表述,我们可以抽象出两类问题:

  • 随着试验次数增加,事件的频率会收敛于概率吗?
  • 若干个随机变量求和,那么这个和的极限会服从什么样的分布规律?

下面我们就随着前人的脚步一步一步的探索,上面两条真理的逻辑化表述。

1、频率会收敛于概率吗?

所谓的大数定理是指,对于一个事件\(A\),我们设置了\(n\)次独立试验,每次观测它是否会发生,为此,我们定义一个随机变量\(X_i,(i=1,2,\dots,n)\),所以在这\(n\)次实验中,我们可以记事件一共发生了”\(X_1+X_2+\dots+X_n\)“次。

若按照我们熟知的”频率会趋近于概率“,我们可以得出下式:
\[ P(A)=\lim_{n\to\infty}p_n=\lim_{n\to\infty}\frac{X_1+X_2+\dots+X_n}{n}=\lim_{n\to\infty}\overline{X}_n \]
如果用更加生活化的语言来解释,我们可以想象,对于一个地区的平均收入,如果我们仅仅去调查某一个人的收入,他可能和真实的平均收入相祛甚远,而当我们统计了一万个人的收入后取其算术平均值,则该均值距离整体平均收入的偏差会小很多。而大数定律则对这一条生活中的规律从理论的高度做了概括与论证。

伯努利大数定理

  • \(X_1,X_2,\dots,X_n,\dots\)是独立同分布的随机变量,记他们的公共均值为\(a\),又设他们的方差存在并记为\(\sigma^2\),则对任意给定的\(\varepsilon>0\),有,

\[ \lim_{n\to\infty}P(|\frac{1}{n}\sum_{i=1}^{n}X_i-a|\ge\varepsilon)=0(伯努利大数定理) \]

称为“ \(\overline{X}_n\) 依概率收敛于 a ”,为了证明上述定理,我们需要引入马尔可夫概率不等式

(马尔可夫不等式)
  • 若Y为非负随机变量,则对任给常数\(\varepsilon >0\),有

\[ P(Y\ge\varepsilon)\le\frac{E(Y)}{\varepsilon}\ (马尔可夫不等式)\\]

证明:
\[ \begin{align} &\because E(Y)=\int_0^\infty yf(y)dy\ge\int_\varepsilon^\infty yf(y)dy\ge\varepsilon\int_\varepsilon^\infty f(y)dy=\varepsilon P(Y\ge\varepsilon)\\end{align}\\]

(切比雪夫不等式)
  • 若Var(Y)存在,则:

\[ P(|Y-EY|\ge\varepsilon)\le\frac{Var(Y)}{\varepsilon^2}(切比雪夫不等式)\\]

证明,由马尔可夫不等式:
\[ \begin{align} P(Y\ge\varepsilon)\leq& \frac{E(Y)}{\varepsilon}\P([Y-EY]^2\ge\varepsilon^2)\leq& \frac{E([Y-EY]^2)}{\varepsilon^2}\\end{align}\\]
到注意\(P(|y|>a)=P(y^2>a)\),因此
\[ P(Y\ge\varepsilon)\leq\frac{E([Y-EY]^2)}{\varepsilon^2}=\frac{Var(Y)}{\varepsilon^2}\\]

  • 可看到切比雪夫不等式实际上是马尔可夫不等式的一个特例 ; )

由上式,设\(\frac{1}{n}\sum_{i=1}^{n}X_i=\overline{X}_n\),可以证明:
\[ \begin{align} \lim_{n\to\infty}P(|\frac{1}{n}\sum_{i=1}^{n}X_i-a|\ge\varepsilon) &=\lim_{n\to\infty}P(|\overline{X}_n-a|\ge\varepsilon)\(Chebyshev)&\leq\lim_{n\to\infty}\frac{Var(\overline X_n)}{\varepsilon^2}\(对于独立同分布的变量和的方差=方差之和)&=\lim_{n\to\infty}\frac{1}{n^2\varepsilon^2}\sum_{i=1}^{n}Var(X_i)\&=\frac{1}{n^2\varepsilon^2}(n\sigma^2)\(当n\to\infty时)&=\frac{\sigma^2}{n\varepsilon^2}\to0 \end{align} \]

  • 这是最早的一个大数定理——伯努利(Bernoulli)大数定理(1713),这既是我们常说的“频率收敛于概率”。

\[ \lim_{n\to\infty}P(|p_n-p|\geq\varepsilon)=0 \]

在生活中”定理“、”定律“、”定则“似乎有着同样的含义,但是在科学中,一般”定理“代表着能够通过严格的数学工具证明的理论事实,而”定律“则是一些”显而易见“却很难去证明的理论。

2、和的极限分布?

大数定律是讨论在什么条件下,随机变量序列的算术平均依概率收敛到其均值的算术平均,而中心极限定理则是讨论在什么样的条件下,独立随机变量和:
\[ Y_n=\sum_{i=1}^nX_i \]
的分布函数会收敛于正态分布。

卷积公式

\[ \begin{align} p_X(x)*p_Y(y)::=p_Z(z) =&\int_{-\infty}^\infty p_X(z-y)p_Y(y)dy\=&\int_{-\infty}^\infty p_X(x)p_Y(z-x)dx \end{align} \]

(Lindeberg-Lévy) 中心极限定理

\(X_1.X_2,\dots,X_n,\dots\)为独立同分布的随机变量序列,\(E(X_i)=a,Var(X_i)=\sigma^2(0<\sigma<\infty)\)。则对任何实数 \(x\) ,有:
\[ \begin{align} \Phi(x)&=\lim_{n\to\infty}P\left(\frac{1}{\sqrt n\sigma}(\sum_{i=1}^nX_i-na)\leq x\right) =\frac{1}{\sqrt{2\pi}}\int_{-\infty}^x e^{-t^2/2}dt\\end{align} \]

【1】通过生活的现象来观察大数定律以及中心极限定理

原文:https://www.cnblogs.com/rrrrraulista/p/12255340.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!