7 参数估计

概念

• 参数：总体 $X$ 的未知的数字特征，记为 $\theta$，可以是一个数，也可以是一个向量（若干个数）
• 参数空间：$\theta$ 的取值范围，记为 $\Theta$
• 参数估计
  • 点估计：构造统计量 $\hat{\theta }(X_1,\cdots ,X_n)$ 来估计 $\theta$。称 $\hat{\theta }(X_1,\cdots ,X_n)$ 为 $\theta$ 的估计量，$\hat{\theta }(x_1,\cdots ,x_n)$ 为 $\theta$ 的估计值。
  • 区间估计：构造两个统计量 $\underline{\theta }(X_1,\cdots ,X_n)$ 和 $\overline{\theta }(X_1,\cdots ,X_n)$，用 $[\underline{\theta },\overline{\theta }]$ 来估计 $\theta$ 的范围

点估计

矩估计法

核心：用样本矩代替总体矩。

记总体 $k$ 阶原点矩 ${\mu }_k=E(X^k)$，样本 $k$ 阶原点矩 $A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k$，若未知参数 $\theta =\phi ({\mu }_1,\cdots ,{\mu }_m)$，称估计量 $\hat{\theta }=\phi (A_1,\cdots ,A_m)$ 为矩估计量。

定理 设 $(X_1,\cdots ,X_n)$ 为取自总体 $X$ 的一个样本，$E(X)=\mu$，$\mathrm{Var}(x)={\sigma }^2$，$\mu$ 与 $\sigma$ 均未知。则：$\bar{X}$ 是未知参数 $\mu$ 的矩估计，$S_n^2$ 是未知参数 ${\sigma }^2$ 的矩估计。

若 $\hat{\theta }$ 是 $\theta$ 的矩估计量，则 $g(\hat{\theta })$ 为 $g(\theta )$ 的矩估计量。

TIP

思路：

• 用样本矩代替总体矩，尽量选择阶数低的
• 如果只有一个未知量，就令 $E(X)=\bar{X}$
• 如果有两个未知量，就再令 $\mathrm{Var}(X)=S_n^2$

例 1

• 总体 $X\sim P(\lambda )$，$\lambda >0$，$\lambda$ 未知。则 ${\hat{\lambda }}_{矩}=\bar{X}$
• 总体 $X\sim E(\lambda )$，$\lambda >0$，$\lambda$ 未知。则 ${\hat{\lambda }}_{矩}=\frac{1}{\bar{X}}$
• 总体 $X\sim U(0,\theta )$，$\theta >0$，$\theta$ 未知。则 ${\hat{\theta }}_{矩}=2\bar{X}$
• 总体 $X\sim U(-\theta ,\theta )$，$\theta >0$，$\theta$ 未知。则
  • $E(X)=0$ 无法用于估计
  • $E(X^2)=\mathrm{Var}(x)+[E(X){]}^2=\frac{(2\theta {)}^2}{12}+0^2=\frac{{\theta }^2}{3}$，则 $\theta =\sqrt{3E(X^2)}$，有 ${\hat{\theta }}_{矩}=\sqrt{3A_2}=\sqrt{\frac{3}{n}\sum _{i=1}^n{X}_i^2}$

例 2

总体 $X\sim U({\theta }_1,{\theta }_2)$，${\theta }_1<{\theta }_2$，${\theta }_1,{\theta }_2$ 均未知。

---

$$\begin{array}{rl}\{\begin{array}{l}E(X)=\frac{{\theta }_1+{\theta }_2}{2}\\ \mathrm{Var}(X)=\frac{({\theta }_2-{\theta }_1{)}^2}{12}\end{array}& \Rightarrow \{\begin{array}{l}{\theta }_1=E(X)-\sqrt{3Var(X)}\\ {\theta }_2=E(X)+\sqrt{3Var(X)}\end{array}\\ & \Rightarrow \{\begin{array}{l}{\hat{\theta }}_1=\bar{X}-\sqrt{3S_n^2}\\ {\hat{\theta }}_2=\bar{X}+\sqrt{3S_n^2}\end{array}\end{array}$$

例 3

设总体 $X$ 的密度函数为

$$f(x;\theta )=\{\begin{array}{ll}\frac{1}{\theta },& 0<x<\frac{\theta }{2}\\ \frac{1}{2-\theta },& \frac{\theta }{2}<x<1\\ 0,& 其他\end{array}$$

其中 $0<\theta <2$，$\theta$ 未知。$(X_1,\cdots ,X_n)$ 是取自这个总体的样本，球 $\theta$ 的矩估计 $\hat{\theta }$？

---

$$\begin{array}{rl}E(X)& ={\int }_{-\infty }^{+\infty }xf(x)\partial x\\ & ={\int }_0^{\theta /2}\frac{x}{\theta }\partial x+{\int }_{\theta /2}^1\frac{x}{2-\theta }\partial x\\ & =\frac{1+\theta }{4}\\ \Rightarrow \theta & =4E(X)-1\\ \Rightarrow \hat{\theta }& =4\bar{X}-1\end{array}$$

TIP

对于常见分布，直接按公式替换。

对于新分布，求期望（含未知参数 $\theta$），令期望等于均值，解方程得到 $\hat{\theta }$。

最大似然估计

设 $(X_1,\cdots ,X_n)$ 为取自总体 $X$ 的一个样本，总体 $X$ 的密度函数为 $f(x;\theta )$，其中 $\theta$ 为未知参数，$\Theta$ 为参数空间，称

$$L(\theta ;x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}f(x_i;\theta ),\theta \in \Theta$$

为似然函数。若存在 $\hat{\theta }=\hat{\theta }(x_1,\cdots ,x_n)$，使得

$$L(\hat{\theta })=\underset{\theta \in \Theta }{\max }L(\theta )$$

则称 $\hat{\theta }(x_1,\cdots ,x_n)$ 为 $\theta$ 的最大似然估计值，称相应的 $\hat{\theta }(X_1,\cdots ,X_n)$ 为 $\theta$ 的最大似然估计量。

求最大似然估计量的常用方法是通过取对数，将连乘转换为求和。即有最大似然方程：

$$\frac{\partial }{\partial \theta }\ln L(\theta )=0$$

TIP

1. 写出联合密度函数 $L=\prod f(x_i;\theta )$
2. 求对数 $\ln L=\sum \ln f(x_i,\theta )$
3. 令未知参数偏导为 $0$，求解 $\frac{\partial \ln L}{\partial \theta }=0$，估得 $\hat{\theta }$

例 4

用最大似然估计 $\mu$ 未知、$\sigma$ 已知的正态分布总体抽样下 $\mu$ 的估计值。

---

$$\begin{array}{c}\begin{array}{rl}L(\mu )& =\prod _{i=1}^{n}f(x;\mu )\\ & =\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }\exp \left[-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right]\\ & ={\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^n\exp \left[-\frac{\sum (x_i-\mu {)}^2}{2{\sigma }^2}\right]\\ \ln L(\mu )& =-\frac{n}{2}\ln (2\pi {\sigma }^2)-\frac{\sum (x_i-\mu {)}^2}{2{\sigma }^2}\\ \frac{\partial \ln L(\mu )}{\partial \mu }& =\frac{2\sum (x_i-\mu )}{2{\sigma }^2}=0\end{array}\\ \Rightarrow \sum _{i=1}^n(x_i-\mu )=\left(\sum _{i=1}^n{x}_i\right)-n\mu =0\\ \Rightarrow \mu =\frac{1}{n}\sum _{i=1}^n{x}_i\Rightarrow {\hat{\mu }}_{最}=\frac{1}{n}\sum _{i=1}^n{X}_i=\bar{X}\end{array}$$

例 5

用最大似然估计 $\mu$ 已知、$\sigma$ 未知的正态分布总体抽样下 ${\sigma }^2$ 的估计值。

---

$$\begin{array}{c}\begin{array}{rl}L({\sigma }^2)& =\prod _{i=1}^{n}f(x;{\sigma }^2)\\ & =\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }\exp \left[-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right]\\ & ={\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^n\exp \left[-\frac{\sum (x_i-\mu {)}^2}{2{\sigma }^2}\right]\\ \ln L({\sigma }^2)& =-\frac{n}{2}\ln (2\pi )-\frac{n}{2}\ln {\sigma }^2-\frac{\sum (x_i-\mu {)}^2}{2{\sigma }^2}\\ \frac{\partial \ln L({\sigma }^2)}{\partial ({\sigma }^2)}& =-\frac{n}{2}\cdot \frac{1}{{\sigma }^2}+\frac{\sum (x_i-\mu {)}^2}{2{\sigma }^4}=0\end{array}\\ \Rightarrow \frac{n}{2}\cdot \frac{1}{{\sigma }^2}=\frac{\sum (x_i-\mu {)}^2}{2{\sigma }^4}\Rightarrow n=\frac{\sum (x_i-\mu {)}^2}{{\sigma }^2}\\ \Rightarrow {\sigma }^2=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2\\ \Rightarrow {\hat{\sigma }}_{最}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2=S_n^2\end{array}$$

例 6

设总体 $X\sim U(0,\theta )$，$\theta >0$，$\theta$ 未知。求 $\theta$ 的最大似然估计量 $\hat{\theta }$。

---

最大似然函数

$$L(\theta )=\{\begin{array}{ll}\prod _{i=1}^{n}f(x,\theta )={\left(\frac{1}{\theta }\right)}^n={\theta }^{-n},& 0\le x_1,\cdots ,x_n\le \theta \\ 0,& 其他\end{array}$$

考虑 $0\le x_1,\cdots ,x_n\le \theta$ 时

$$\begin{array}{r}\frac{\partial }{\partial \theta }\ln L(\theta )=-n\frac{\partial }{\partial \theta }\ln \theta =-\frac{n}{\theta }=0\end{array}$$

无解。考虑回归定义：

$$L(\hat{\theta })=\underset{\theta \in \Theta }{\max }L(\theta )=\underset{\theta >0}{\max }{\theta }^{-n}$$

注意到 $\theta =\max \{x\}$ 时有 $\max L(\theta )$，因此有 $\hat{\theta }=X_{(n)}$

TIP

上例说明

• 不同估计手段得到的估计量不一定相同
• 对数解不了的情况下考虑回归定义（连乘）。

推广，若有多维参数，寻找 ${\hat{\theta }}_1,\cdots ,{\hat{\theta }}_k$ 要求解似然方程组

$$\{\begin{array}{rl}& \frac{\partial }{\partial {\theta }_1}\ln L({\theta }_1,\cdots ,{\theta }_k)=0\\ & \frac{\partial }{\partial {\theta }_2}\ln L({\theta }_1,\cdots ,{\theta }_k)=0\\ & \cdots \cdots \\ & \frac{\partial }{\partial {\theta }_k}\ln L({\theta }_1,\cdots ,{\theta }_k)=0\end{array}$$

估计的优良性标准

• 无偏性：$E(\hat{\theta })=\theta$，估计量的期望等于实际值（最重要）

  • 渐近无偏：$\underset{n\to \infty }{\lim }E(\hat{\theta })=\theta$，称为渐近（无偏）估计

• 有效性：估计量的方差尽可能小

• 相合性：样本量趋于无穷时，估计量趋于实际值（了解即可）

可以证明：样本均值 $\bar{X}$、样本方差 $S_n$ 是无偏估计量，但矩估计和最大似然估计给出的方差 $S_n^2$ 不是无偏估计量，只是渐近无偏估计。

例 7

$X\sim U(0,\theta )$ 时，

${\hat{\theta }}_{矩}=2\bar{X}$ 是 $\theta$ 的无偏估计：

$$E(2\bar{X})=2E(X)=\theta$$

而 ${\hat{\theta }}_{最}=\underset{1\le i\le n}{\max }{X}_i$ 只是渐近无偏估计，因为

$$\begin{array}{c}{f}_{x_{(n)}}(y)=n[F(y){]}^{n-1}f(y)=n\cdot {\left(\frac{y}{\theta }\right)}^{n-1}\cdot \frac{1}{\theta }\\ E(X_{(n)})={\int }_0^{\theta }y\frac{n{y}^{n-1}}{{\theta }^n}\mathrm{d}y=\frac{n}{n+1}\theta \end{array}$$

例 8

设总体均值为 $\mu$，方差为 ${\sigma }^2$，获得三个样本 $x_1,x_2,x_3$

1. 确定常数 $a,b$，使得 $A=a(x_1+x_2+x_3)$ 和 $B=b(x_1+2x_2+x_3)$ 都是 $\mu$ 的无偏估计量
2. 判断 $A$ 和 $B$ 哪个更有效

---

1.

$$\begin{array}{c}E(A)=aE(x_1+x_2+x_3)=3a\mu =\mu \Rightarrow a=\frac{1}{3}\\ E(B)=bE(x_1+2x_2+x_3)=4b\mu =\mu \Rightarrow b=\frac{1}{4}\end{array}$$

2.

$$\begin{array}{c}\mathrm{Var}(A)=a^2\mathrm{Var}(x_1+x_2+x_3)=\frac{1}{9}({\sigma }^2+{\sigma }^2+{\sigma }^2)=\frac{1}{3}{\sigma }^2\\ \mathrm{Var}(B)=b^2\mathrm{Var}(x_1+2x_2+x_3)=\frac{1}{16}({\sigma }^2+4{\sigma }^2+{\sigma }^2)=\frac{3}{8}{\sigma }^2\\ \mathrm{Var}(A)\le \mathrm{Var}(B)\end{array}$$

$A$ 比 $B$ 更有效。

区间估计

给定置信度 $1-\alpha$，找一个区间 $[L,R]$，使得 $P(L\le \theta \le R)\ge 1-\alpha$。

默认取双尾，即 $P(\theta <L)=\frac{1}{2}\alpha$，$P(\theta >R)=\frac{1}{2}\alpha$

TIP

• 选择统计量 $G$
• 找到区间使得 $P(L\le G\le R)\ge 1-\alpha$
• 化简得到答案

如何选择估计量

估计问题	统计量
$\sigma$ 已知，估计 $\mu$	$Z=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$
$\sigma$ 未知，估计 $\mu$	$T=\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$
估计 $\sigma$	$G=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$

有 $\sigma$ 就用含 $\sigma$ 的，没有就退而求其次用样本标准差 $S$。估计 $\sigma$ 就只用 $S$。

例 9

零件重量服从正态分布，取出 9 个零件质量如下，估计 $\mu$ 和 $\sigma$ 的 $95\%$ 置信区间。

$$\begin{array}{cccccccccc}45.3& 45.4& 45.1& 45.3& 45.5& 45.7& 45.4& 45.3& 45.6& \end{array}$$

已求出 $\bar{X}=45.4$，$S^2=0.0325$，参考数据如下：

$n$	$t_{0.95}(n)$	$t_{0.975}(n)$	${\chi }_{0.025}^2(n)$	${\chi }_{0.975}^2(n)$
$8$	$1.8595$	$2.3060$	$2.180$	$17.535$
$9$	$1.8331$	$2.2622$	$2.700$	$19.023$

---

令

$$T=\frac{\bar{X}-\mu }{S/\sqrt{n}}=\frac{45.4-\mu }{\sqrt{0.0325/9}}\sim t(8)$$

因此有 $t_{0.025}(8)\le T\le t_{0.975}(8)$，根据对称性即 $-t_{0.975}(8)\le T\le t_{0.975}(8)$，代入得

$$\begin{array}{c}-2.3060\le \frac{45.4-\mu }{\sqrt{0.0325/9}}\le 2.3060\\ \Rightarrow \mu \in [45.2614,45.5368]\end{array}$$

令

$$\begin{array}{c}G=\frac{(n-1)S^2}{{\sigma }^2}=\frac{8\times 0.0325}{{\sigma }^2}\sim {\chi }^2(8)\\ {\chi }_{0.025}^2(8)\le \frac{8\times 0.0325}{{\sigma }^2}\le {\chi }_{0.975}^2(8)\\ 2.180\le \frac{8\times 0.0325}{{\sigma }^2}\le 17.535\\ \Rightarrow \sigma \in [0.1218,0.3454]\end{array}$$