6 统计量及其分布

概念与符号约定

研究一个总体，该总体是一个随机变量 $X$，$X$ 的分布称为总体分布。

从总体中抽取 $n$ 个个体，称为样本，记作 $(X_1,X_2,\cdots ,X_n)$。$n$ 称为样本容量或样本大小。

抽样得到的 $n$ 个数据 $x_1,x_2,\cdots ,x_n$ 称为样本观测值。

统计量

对于样本的函数 $h(X_1,X_2,\cdots ,X_n)$，只要不包含未知参数（即可以根据样本观测值直接求出），均称为统计量。

• 样本均值 $\overline{X}={\displaystyle \frac{1}{n}}\sum _{i=1}^n{X}_i$
• 样本 $k$ 阶原点矩 $A_k={\displaystyle \frac{1}{n}}\sum _{i=1}^n{X}_i^k$，$k=1,2,\cdots$
• 样本 $k$ 阶中心矩 $B_k={\displaystyle \frac{1}{n}}\sum _{i=1}^n(X_i-\overline{X}{)}^k$
• 样本 $2$ 阶中心矩 $S_n^2={\displaystyle \frac{1}{n}}\sum _{i=1}^n(X_i-\overline{X}{)}^2$
• 样本方差 $S^2={\displaystyle \frac{1}{n-1}}\sum _{i=1}^n(X_i-\overline{X}{)}^2$
• 最小次序统计量 $X_{(1)}=\underset{1\le i\le n}{min}{X}_i$
• 最大次序统计量 $X_{(n)}=\underset{1\le i\le n}{max}{X}_i$

定理 对于任意常数 $c$ 有

$$\sum _{i=1}^n(X_i-\overline{X}{)}^2=\sum _{i=1}^n(X_i-c{)}^2-n(\overline{X}-c{)}^2$$

TIP

$c$ 的常用候选：$0$

插入 $0$ 后变为：

$$\sum _{i=1}^n(X_i-\overline{X}{)}^2=\sum _{i=1}^n{X}_i^2-n{\overline{X}}^2$$

定理 设 $(X_1,\cdots ,X_n)$ 是取自总体 $X$ 的一个样本，若 $E(X^2)<+\mathrm{\infty }$，则

$$\begin{array}{c}E(\overline{X})=E(X),\mathrm{Var}(\overline{X})=\frac{\mathrm{Var}(x)}{n}\\ E(S_n^2)=\frac{n-1}{n}\mathrm{Var}(x),E(S^2)=\mathrm{Var}(X)\end{array}$$

定理 当 $n\to \mathrm{\infty }$ 有

$$\overline{X}\stackrel{P}{\to }E(X),S^2\stackrel{P}{\to }\mathrm{Var}(X),S_n^2\stackrel{P}{\to }\mathrm{Var}(X),$$

常用分布

${\chi }^2$ 分布

定义 设 $X_1,X_2,\cdots ,X_n$ 为独立同分布随机变量，有 $X_i\sim N(0,1)$。则定义随机变量 $U=\sum _{i=1}^n{X}_i^2$ 服从自由度为 $n$ 的 ${\chi }^2$ 分布，记为 $U\sim {\chi }^2(n)$。

${\chi }^2$ 分布的密度函数和分布函数均不能用初等函数表示。

• 期望 $E(X)=n$
• 方差 $\mathrm{Var}(X)=2n$

特别地，

• 若 $X\sim N(0,1)$，则 $X^2\sim {\chi }^2(1)$
• 自由度为 $2$ 的 ${\chi }^2$ 分布就是参数为 ${\displaystyle \frac{1}{2}}$ 的 指数分布，即 $E\left({\displaystyle \frac{1}{2}}\right)={\chi }^2(2)$。

显然 ${\chi }^2$ 分布具有可加性：若 $Y_1\sim {\chi }^2(m)$，$Y_2\sim {\chi }^2(n)$，且 $Y_1,Y_2$ 相互独立，则有 $Y_1+Y_2\sim {\chi }^2(m+n)$。

t 分布

定义 设随机变量 $X\sim N(0,1),Y\sim {\chi }^2(n)$ 且 $X,Y$ 相互独立，称随机变量 $T={\displaystyle \frac{X}{\sqrt{Y/n}}}$ 所服从的分布为自由度 $n$ 的 t 分布，记为 $T\sim t(n)$。

当 $n\ge 30$ 时，t 分布可使用标准正态分布近似替代。

期望 $E(X)=0$。

t 分布也称学生分布。

F 分布

定义 设随机变量 $U\sim {\chi }^2(m),V\sim {\chi }^2(n)$ 且 $U,V$ 相互独立，则称随机变量 $F={\displaystyle \frac{U/m}{V/n}}$ 服从自由度为 $(m,n)$ 的 F 分布，记为 $F\sim F(m,n)$。

正态分布抽样定理

设 $(X_1,\cdots ,X_n)$ 是取自正态总体 $N(\mu ,{\sigma }^2)$ 的一个样本，有

1. $\overline{X}\sim N(\mu ,{\displaystyle \frac{{\sigma }^2}{n}})$，即 ${\displaystyle \frac{\overline{X}-\mu }{\sigma /\sqrt{n}}}\sim N(0,1)$；
2. ${\displaystyle \frac{(n-1)S^2}{{\sigma }^2}}={\displaystyle \frac{n{S}_n^2}{{\sigma }^2}}\sim {\chi }^2(n-1)$；
3. ${\displaystyle \frac{\overline{X}-\mu }{S/\sqrt{n}}}\sim t(n-1)$，即 ${\displaystyle \frac{\overline{X}-\mu }{\sqrt{S^2/n}}}\sim t(n-1)$
4. $\overline{X}$ 与 $S^2$ 相互独立。

IMPORTANT

非常重要，要求记忆。

NOTE

对 2 的理解

$${\displaystyle \frac{(n-1)S^2}{{\sigma }^2}}=\sum _{i=1}^n{\left({\displaystyle \frac{X_i-\overline{X}}{\sigma }}\right)}^2=\sum _{i=1}^n(X_i^{\ast }{)}^2\sim {\chi }^2(n-1)$$

$(X_1^{\ast },\cdots ,X_n^{\ast })$ 相比原本的 $(X_1,\cdots ,X_n)$ 少了一个自由度，是因为标准化之后 $\overline{X}$ 这一信息抹掉了，多了限制条件 $\sum X_i^{\ast }=0$。

次序统计量的分布

一般地，$X_{(1)},X_{(n)}$ 不相互独立。

最大次序统计量

$$\begin{array}{rl}{X}_{(n)}& =\underset{1\le i\le n}{max}{X}_i\\ \Rightarrow F_{X_{(n)}}(x)& =[F(x){]}^n\\ \Rightarrow f_{X_{(n)}}(x)& =\frac{\mathrm{d}}{\mathrm{d}x}{F}_{X_{(n)}}(x)=n[F(x){]}^{n-1}f(x)\end{array}$$

最小次序统计量

$$\begin{array}{rl}{X}_{(1)}& =\underset{1\le i\le n}{min}{X}_i\\ \Rightarrow F_{X_{(1)}}(x)& =1-[1-F(x){]}^n\\ \Rightarrow f_{X_{(1)}}(x)& =\frac{\mathrm{d}}{\mathrm{d}x}{F}_{X_{(1)}}(x)=n[1-F(x){]}^{n-1}f(x)\end{array}$$