5 大数定律与中心极限定理

大数定律

依概率收敛

设 $Y_1,Y_2,\cdots ,Y_n,\cdots$ 是随机变量序列，$Y$ 是随机变量，如果对于任意正数 $\epsilon >0$，都有 $\underset{n\to \infty }{\lim }P(|Y_n-Y|\ge \epsilon )=0$，则称 $Y_n$ 依概率收敛于 $Y$，记作 $Y_n\stackrel{P}{\to }Y$。

特别地，当 $Y$ 服从退化分布，即 $P(Y=c)=1$，称 $Y_n$ 依概率收敛于 $c$，记作 $Y_n\stackrel{P}{\to }c$。

NOTE

$Y_n\stackrel{P}{\to }Y$ 理解为：当样本容量 $n$ 充分大时，$Y_n$ 与 $Y$ 充分接近。

关于不依概率收敛到常数，而是依概率收敛到另一个随机变量的情况：完全可能出现，因为没说它们之间是相互独立的。例如有随机变量 $Y$（分布任意）和噪声源 $X\sim U(-1,1)$，有随机变量序列 $Y_i=Y+\frac{1}{i}X$，那就有 $Y_n\stackrel{P}{\to }Y$。

两个概率不等式

马尔可夫不等式：对于非负随机变量 $X$，$\forall p,e>0$ 有

$$P(X\ge \epsilon )\le \frac{E(X^p)}{{\epsilon }^p}$$

切比雪夫不等式：对于非负随机变量 $X$，$\forall \epsilon >0$ 有

$$P(|X-E(X)|\ge \epsilon )\le \frac{\mathrm{Var}(x)}{{\epsilon }^2}$$

理解两个不等式

取 $p=1$，马尔可夫不等式在说：对于非负随机变量 $X$，如果知道了均值 $\mu$，能约束它「大得离谱」的概率。

上界怎么来的？来源于非负。要让 $P(X\ge \epsilon )$ 最大，那让 $X\ge \epsilon$ 的部分尽可能小，取 $\epsilon$；其余部分也尽可能小，取 $0$。那要维持均值 $\mu$，就有 $\epsilon P(X\ge \epsilon )+0=\mu$，自然得到这个概率是 $\frac{\mu }{\epsilon }$。

完整版再加个 $p$ 次方。

---

切比雪夫不等式在说：知道方差 ${\sigma }^2$，就能约束偏离均值的概率。偏离 $\epsilon$ 的概率不会超过 $\frac{{\sigma }^2}{{\epsilon }^2}$。

切比雪夫不等式是马尔可夫不等式中取 $p=2$ 并用 $X-\mu$ 替代 $X$ 得到的。

大数定律

设有随机变量 $X_1,X_2,\cdots ,X_n,\cdots$，记 $\bar{X}=\frac{1}{n}\sum _{i=0}^n{X}_i$，如果满足 $\bar{X}-E(\bar{X})\stackrel{P}{\to }0$，称随机变量序列 $X_1,X_2,\cdots ,X_n,\cdots$ 服从大数定律。

马尔可夫大数定律：如果随机变量序列满足 $\underset{n\to \infty }{\lim }\frac{1}{n^2}\mathrm{Var}\left(\sum _{i=1}^n{X}_i\right)=0$，则服从大数定律。

辛钦大数定律：独立同分布的随机变量序列，只要期望存在，就服从大数定律。

理解大数定律

对于独立同分布的变量 $X_1,X_2,\cdots ,X_n,\cdots$，设每次期望是 $\mu$，方差是 ${\sigma }^2$。考虑其样本均值 $\bar{X}$，随着次数 $n$ 的增大：

• 均值期望不会变：$E(\bar{X})=\mu$
• 均值方差会变小：$\mathrm{Var}(\bar{X})=\frac{{\sigma }^2}{n}$

根据切比雪夫不等式，$\bar{X}$ 偏离均值 $\epsilon$ 的概率不会超过 $\frac{{\sigma }^2}{n{\epsilon }^2}$。当 $n\to \infty$ 时这个概率 $\to 0$。也就是说 $\bar{X}\stackrel{P}{\to }\mu$，服从大数定律。

核心就在于均值方差在随着 $\frac{1}{n}$ 变小，$n\to \infty$ 的时候就彻底退化到 $0$ 了。

如果不是独立同分布，那「均值方差 $\to 0$」这件事就只能靠增加条件来约束了。

中心极限定理

按分布收敛

设随机变量 $Y,Y_1,Y_2,\cdots ,Y_n,\cdots$ 的分布函数 $F(x),F_1(x),F_2(x),\cdots ,F_n(x),\cdots$，若对 $F(x)$ 的任一连续点 $x$ 都有 $\underset{n\to \infty }{\lim }{F}_n(x)=F(x)$，则称随机变量序列 $Y_1,Y_2,\cdots ,Y_n,\cdots$ 按分布收敛于随机变量 $Y$，记作 $Y_n\stackrel{L}{\to }Y$。

TIP

也可以写「按分布收敛于某一分布」，例如 $X\stackrel{L}{\to }N(0,1)$。

中心极限定理

中心极限定理是指这样的一类结论：在某些条件下，会有

$$(\bar{X}{)}^{\ast }=(\sum X_i{)}^{\ast }=\frac{\sum X_i-E(\sum X_i)}{\sigma (\sum X_i)}\stackrel{L}{\to }N(0,1)$$

或者也可以表达为：

$$\bar{X}\stackrel{L}{\to }N\left(\mu ,\frac{{\sigma }^2}{n}\right)$$

只介绍其中的一个。

林德伯格 - 莱维中心极限定理：对于独立同分布随机变量 $X_1,\cdots ,X_n,\cdots$，有 $E(X_1)=\mu$，$\mathrm{Var}(X_1)={\sigma }^2$，则

$$Y_n=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\stackrel{L}{\to }N(0,1)$$