2 协方差阵及其传播律

变量符号约定

• $c$ 常数
• $x$ 随机变量
• $\mathit{c}$ 常向量
• $\mathit{x}$ 随机向量
• $\mathit{A}$ 矩阵
• $D_{xy}$ 随机变量 $x$ 和 $y$ 的协方差
• ${\mathit{D}}_{xx}$ 随机向量 $\mathit{x}$ 的自协方差阵
• ${\mathit{D}}_{xy}$ 随机向量 $\mathit{x}$ 和 $\mathit{y}$ 的互协方差阵

回顾随机变量及其数字特征

数学期望

$$E(x)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}xf(x)dx$$$$E(x)=\sum _1^n{x}_i{p}_i$$

• $E(c)=c$，$c$ 为常数
• $E(cx)=cE(x)$
• $E(x\pm y)=E(x)\pm E(y)$，$x,y$ 不必相互独立
• $E(xy)=E(x)E(y)$，$x,y$ 相互独立

方差

$$D(x)=D_{xx}={\sigma }_x^2=E[(x-E(x){)}^2]$$$$D(x)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}(x-E(x){)}^{2}f(x)dx$$$$D(x)=\sum _1^n(x_i-E(x){)}^2{p}_i$$

• $D(c)=0$，$c$ 为常数
• $D(cx)=c^{2}D(x)$
• $D(x)=E(x^2)-[E(x){]}^2$
• $D(x\pm y)=D(x)+D(y)$，$x,y$ 相互独立
• $D(xy)=D(x)D(y)+D(x)[E(y){]}^2+D(y)[E(x){]}^2$，$x,y$ 相互独立（此式可通过误差传播定律推出）

相关系数

$${\rho }_{xy}=\frac{{\sigma }_{xy}}{{\sigma }_x{\sigma }_y}=\frac{D_{xy}}{\sqrt{D(x)}\sqrt{D(y)}}$$

回顾误差传播定律

我们在 测量学 / 测量误差及处理方法 - 误差传播公式 中提到过了误差传播定律的内容：

对于一般多元函数 $Z=f(x_1,x_2,\cdots ,x_n)$，有

$${\sigma }_Z=\pm \sqrt{{\left(\frac{\partial f}{\partial x_1}\right)}^2{\sigma }_1^2+{\left(\frac{\partial f}{\partial x_2}\right)}^2{\sigma }_2^2+\cdots +{\left(\frac{\partial f}{\partial x_n}\right)}^2{\sigma }_n^2}$$

即

$${\sigma }_Z=\pm \sqrt{\sum _i{\left(\frac{\partial f}{\partial x_i}\right)}^2{\sigma }_i^2}$$

其具有一些局限性，例如

• 要求 $x_1,x_2,\cdots ,x_n$ 均为相互独立的原始观测量，如果不是，要化成原始观测量
• 对于每个函数 $Z$ 均需要单独列式计算，无法同时获得多个函数的方差及它们之间的协方差

因此我们引入线性代数的手段简化这一过程。

TIP

计算量是不会简化到哪里去的 —— 有多少东西要算，转化完还是那么多东西要算。简化的意义是避免繁琐冗杂的列式、便于机器自动化处理。

协方差阵

自协方差阵

我们将 $n$ 个初始观测值 $L_1,L_2,\cdots ,L_n$ 组成一个向量：定义观测向量 $\mathit{L}=[L_1,L_2,\cdots ,L_n{]}^{\mathrm{T}}$。该观测向量服从 $n$ 维正态分布。

则有对应的数学期望向量 $E(\mathit{L})=[E(L_1),\cdots ,E(L_n){]}^{\mathrm{T}}$。

由此我们定义 方差 - 协方差阵（也称 自协方差阵）：

$$\begin{array}{rl}{\mathit{D}}_{LL}& =E\{[\mathit{L}-E(\mathit{L})][\mathit{L}-E(\mathit{L}){]}^{\mathrm{T}}\}\\ & =\left[\begin{array}{cccc}{\sigma }_{L_1}^2& {\sigma }_{L_1{L}_2}& \cdots & {\sigma }_{L_1{L}_n}\\ {\sigma }_{L_2{L}_1}& {\sigma }_{L_2}^2& \cdots & {\sigma }_{L_2{L}_n}\\ ⋮& ⋮& \ddots & ⋮\\ {\sigma }_{L_n{L}_1}& {\sigma }_{L_n{L}_2}& \cdots & {\sigma }_{L_n}^2\end{array}\right]\end{array}$$

TIP

1. 观测向量、期望向量、协方差阵都是有单位的，不是无量纲；
2. 从一维拓展到 $n$ 维时，$a^2$ 的形式通常会转化为 $\mathit{A}{\mathit{A}}^{\mathrm{T}}$。我们后续还会再遇到。

自协方差阵的特点：

• ${\mathit{D}}_{LL}$ 是对称阵：协方差具有对称性，${\sigma }_{L_i{L}_j}={\sigma }_{L_j{L}_i}$
• 主对角元是方差：$i$ 行 $i$ 列是随机变量 $L_i$ 的方差
• 非主对角元是协方差：$i$ 行 $j$ 列（$i\ne j$）是随机变量 $L_i$ 和 $L_j$ 的协方差
• 观测值相互独立时是对角阵：若 $L_i$ 两两相互独立，则所有协方差为零，只剩主对角元，${\mathit{D}}_{LL}=\mathrm{diag}[{\sigma }_{L_1}^2,\cdots ,{\sigma }_{L_n}^2]$
• 等精度独立观测时是数量阵：在两两独立的基础上，若所有观测量等精度，则所有 ${\sigma }_{L_i}^2$ 均相等，${\mathit{D}}_{LL}={\sigma }_L^2\mathit{I}$

例 1

每公里观测中误差为 ${\sigma }_{\mathrm{km}}=5\mathrm{mm}$，写出下列观测向量的方差协方差阵。

---

$$\mathit{L}=\left[\begin{array}{c}{L}_1\\ L_2\\ L_3\\ L_4\end{array}\right]$$$${\mathit{D}}_{LL}=\left[\begin{array}{cccc}1.6& 0& 0& 0\\ 0& 2.1& 0& 0\\ 0& 0& 1.7& 0\\ 0& 0& 0& 2.0\end{array}\right]\cdot {\sigma }_{\mathrm{km}}^2=\left[\begin{array}{cccc}40& 0& 0& 0\\ 0& 52.5& 0& 0\\ 0& 0& 42.5& 0\\ 0& 0& 0& 50\end{array}\right]{\mathrm{mm}}^2$$

互协方差阵

前面的自协方差阵，是只有一个观测向量形成的协方差阵。除此之外还可以由两个不同的观测向量组成协方差阵。

对于两个观测向量 ${\mathit{x}}_{n\times 1}$ 和 ${\mathit{y}}_{m\times 1}$，定义二者的互协方差阵 ${\mathit{D}}_{xy}$ 和 ${\mathit{D}}_{yx}$：

$$\begin{array}{rl}\underset{n\times m}{{\mathit{D}}_{xy}}& =E\{[\mathit{x}-E(\mathit{x})][\mathit{y}-E(\mathit{y}){]}^{\mathrm{T}}\}\\ \\ \underset{m\times n}{{\mathit{D}}_{yx}}& =E\{[\mathit{y}-E(\mathit{y})][\mathit{x}-E(\mathit{x}){]}^{\mathrm{T}}\}\end{array}$$

例子

例如对于 ${\mathit{x}}_{3\times 1}=[x_1,x_2,x_3{]}^{\mathrm{T}}$，${\mathit{y}}_{2\times 1}=[y_1,y_2{]}^{\mathrm{T}}$，则有

$$\begin{array}{rlrl}\mathit{x}\mathrm{的}\mathrm{自}\mathrm{协}\mathrm{方}\mathrm{差}\mathrm{阵}& & {\mathit{D}}_{xx}& =\left[\begin{array}{ccc}{\sigma }_{x_1}^2& {\sigma }_{x_1{x}_2}& {\sigma }_{x_1{x}_3}\\ {\sigma }_{x_2{x}_1}& {\sigma }_{x_2}^2& {\sigma }_{x_2{x}_3}\\ {\sigma }_{x_3{x}_1}& {\sigma }_{x_3{x}_2}& {\sigma }_{x_3}^2\end{array}\right]\\ \\ \mathit{y}\mathrm{的}\mathrm{自}\mathrm{协}\mathrm{方}\mathrm{差}\mathrm{阵}& & {\mathit{D}}_{yy}& =\left[\begin{array}{cc}{\sigma }_{y_1}^2& {\sigma }_{y_1{y}_2}\\ {\sigma }_{y_2{y}_1}& {\sigma }_{y_2}^2\end{array}\right]\\ \\ \mathit{x},\mathit{y}\mathrm{的}\mathrm{互}\mathrm{协}\mathrm{方}\mathrm{差}\mathrm{阵}& & {\mathit{D}}_{xy}& =\left[\begin{array}{cc}{\sigma }_{x_1{y}_1}& {\sigma }_{x_1{y}_2}\\ {\sigma }_{x_2{y}_1}& {\sigma }_{x_2{y}_2}\\ {\sigma }_{x_3{y}_1}& {\sigma }_{x_3{y}_2}\end{array}\right]\\ \\ \mathit{y},\mathit{x}\mathrm{的}\mathrm{互}\mathrm{协}\mathrm{方}\mathrm{差}\mathrm{阵}& & {\mathit{D}}_{yx}& =\left[\begin{array}{ccc}{\sigma }_{y_1{x}_1}& {\sigma }_{y_1{x}_2}& {\sigma }_{y_1{x}_3}\\ {\sigma }_{y_2{x}_1}& {\sigma }_{y_2{y}_2}& {\sigma }_{y_2{x}_3}\end{array}\right]\end{array}$$

互协方差阵的特点：

• 一般不是方阵（$m=n$ 时是方阵）
• 矩阵元素均为协方差，没有方差
• ${\mathit{D}}_{xy}$ 和 ${\mathit{D}}_{yx}$ 互为转置，即 ${\mathit{D}}_{xy}={\mathit{D}}_{yx}^{\mathrm{T}}$
• 若 ${\mathit{D}}_{xy}$ 或 ${\mathit{D}}_{yx}$ 为 $\mathit{O}$，则随机变量 $\mathit{x},\mathit{y}$ 互不相关

协方差阵的传播律

单函数传播

此前的误差传播定律提到对于 $f=ax+b$，则有 ${\sigma }_f^2=a^2{\sigma }_x^2$。现在我们将其推广到 $n$ 维。

对于随机向量的线性函数 $\mathit{f}=\mathit{A}\mathit{x}+{\mathit{a}}_0$，有

$${\mathit{D}}_{ff}=\mathit{A}{\mathit{D}}_{xx}{\mathit{A}}^{\mathrm{T}}$$

证明

$$\begin{array}{rl}\mathit{f}& =\mathit{A}\mathit{x}+{\mathit{a}}_0\\ E(\mathit{f})& =E(\mathit{A}\mathit{x}+{\mathit{a}}_0)=\mathit{A}E(\mathit{x})+{\mathit{a}}_0\\ {\mathit{D}}_{ff}& =E\left\{[\mathit{f}-E(\mathit{f})]{[\mathit{f}-E(\mathit{f})]}^{\mathrm{T}}\right\}\\ & =E\left\{[\mathit{A}\mathit{x}+\cancel{{\mathit{a}}_0}-\mathit{A}E(\mathit{x})-\cancel{{\mathit{a}}_0}]{[\mathit{A}\mathit{x}+\cancel{{\mathit{a}}_0}-\mathit{A}E(\mathit{x})-\cancel{{\mathit{a}}_0}]}^{\mathrm{T}}\right\}\\ & =\mathit{A}E\{[\mathit{x}-E(\mathit{x})][\mathit{x}-E(\mathit{x}){]}^{\mathrm{T}}\}{\mathit{A}}^{\mathrm{T}}\\ & =\mathit{A}{\mathit{D}}_{xx}{\mathit{A}}^{\mathrm{T}}\end{array}$$

例 2

方向观测值 $l_1$、$l_2$、$l_3$ 相互独立，精度均为 $\sigma$，求 ${\sigma }_{{\alpha }_1}$、${\sigma }_{{\alpha }_2}$、${\sigma }_{{\alpha }_1{\alpha }_2}$。

---

$$\left[\begin{array}{c}{\alpha }_1\\ {\alpha }_2\end{array}\right]=\left[\begin{array}{c}{l}_2-l_1\\ l_3-l_2\end{array}\right]=\left[\begin{array}{ccc}-1& 1& 0\\ 0& -1& 1\end{array}\right]\left[\begin{array}{c}{l}_1\\ l_2\\ l_3\end{array}\right]$$$$\left[\begin{array}{cc}{\sigma }_{{\alpha }_1}^2& {\sigma }_{{\alpha }_1{\alpha }_2}\\ {\sigma }_{{\alpha }_2{\alpha }_1}& {\sigma }_{{\alpha }_2}^2\end{array}\right]=\left[\begin{array}{ccc}-1& 1& 0\\ 0& -1& 1\end{array}\right]\left[\begin{array}{ccc}{\sigma }^2& 0& 0\\ 0& {\sigma }^2& 0\\ 0& 0& {\sigma }^2\end{array}\right]\left[\begin{array}{cc}-1& 0\\ 1& -1\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}2& -1\\ -1& 2\end{array}\right]{\sigma }^2$$

故有

$$\begin{array}{c}{\sigma }_{{\alpha }_1}={\sigma }_{{\alpha }_2}=\sqrt{2}\sigma \\ {\sigma }_{{\alpha }_2{\alpha }_1}=-{\sigma }^2\end{array}$$

例 3

已知等精度观测三角形三内角 $\alpha$、$\beta$、$\gamma$，精度均为 $\sigma$，求 ${\sigma }_{\hat{\alpha }}$、${\sigma }_{\hat{\beta }}$、${\sigma }_{\hat{\gamma }}$。

---

闭合差

$$w={180}^{\circ }-(\alpha +\beta +\gamma )$$

平差值

$$\begin{array}{rl}\hat{\alpha }& =\alpha +\frac{w}{3}\\ \hat{\beta }& =\beta +\frac{w}{3}\\ \hat{\gamma }& =\gamma +\frac{w}{3}\end{array}$$

误解：应用误差传播律：

$${\sigma }_{\hat{\alpha }}^2={\sigma }_{\alpha }^2+\frac{1}{9}{\sigma }_w^2={\sigma }^2+\frac{1}{9}({\sigma }^2+{\sigma }^2+{\sigma }^2)=\frac{4}{3}{\sigma }^2>{\sigma }^2$$

发现平差后精度降低。原因：$\alpha$ 与 $w$ 不独立，误差传播率要求各量相互独立。

$$\hat{\alpha }=\alpha +\frac{w}{3}=\alpha +\frac{1}{3}[{180}^{\circ }-(\alpha +\beta +\gamma )]=\frac{2}{3}\alpha -\frac{1}{3}\beta -\frac{1}{3}\gamma +{60}^{\circ }$$

同理有

$$\begin{array}{rl}\hat{\beta }& =-\frac{1}{3}\alpha +\frac{2}{3}\beta -\frac{1}{3}\gamma +{60}^{\circ }\\ \hat{\gamma }& =-\frac{1}{3}\alpha -\frac{1}{3}\beta +\frac{2}{3}\gamma +{60}^{\circ }\end{array}$$$$\left[\begin{array}{c}\hat{\alpha }\\ \hat{\beta }\\ \hat{\gamma }\end{array}\right]=\left[\begin{array}{ccc}\frac{2}{3}& -\frac{1}{3}& -\frac{1}{3}\\ -\frac{1}{3}& \frac{2}{3}& -\frac{1}{3}\\ -\frac{1}{3}& -\frac{1}{3}& \frac{2}{3}\end{array}\right]\left[\begin{array}{c}\alpha \\ \beta \\ \gamma \end{array}\right]+\left[\begin{array}{c}60\\ 60\\ 60\end{array}\right]{(}^{\circ })$$$$\left[\begin{array}{ccc}{\sigma }_{\hat{\alpha }}^2& {\sigma }_{\hat{\alpha }\hat{\beta }}& {\sigma }_{\hat{\alpha }\hat{\gamma }}\\ {\sigma }_{\hat{\alpha }\hat{\beta }}& {\sigma }_{\hat{\beta }}^2& {\sigma }_{\hat{\beta }\hat{\gamma }}\\ {\sigma }_{\hat{\alpha }\hat{\gamma }}& {\sigma }_{\hat{\beta }\hat{\gamma }}& {\sigma }_{\hat{\gamma }}^2\end{array}\right]=\frac{{\sigma }^2}{3}\left[\begin{array}{ccc}2& -1& -1\\ -1& 2& -1\\ -1& -1& 2\end{array}\right]$$$${\sigma }_{\hat{\alpha }\hat{\beta }}={\sigma }_{\hat{\alpha }\hat{\gamma }}={\sigma }_{\hat{\beta }\hat{\gamma }}=-\frac{1}{3}{\sigma }^2$$$${\sigma }_{\hat{\alpha }}^2={\sigma }_{\hat{\beta }}^2={\sigma }_{\hat{\gamma }}^2=\frac{2}{3}{\sigma }^2<{\sigma }^2$$

平差后精度提高。

对于非线性函数，与此前一维的处理类似，可以通过线性化近似的方法来解决：求函数值的全微分，用观测值计算偏导数值，得到线性近似表达式。

例 4

已知：

$$\{\begin{array}{rl}{\psi }_1& =3l_1-2l_2\\ {\psi }_2& =l_1{l}_2+l_3^2\end{array}{\mathit{D}}_{ll}=\left[\begin{array}{ccc}1.2& -0.4& 0.2\\ -0.4& 0.8& 0\\ 0.2& 0& 0.6\end{array}\right]$$

求：当 $l_1^0=6$，$l_2^0=8$，$l_3^0=10$ 时的 ${\mathit{D}}_{\psi \psi }$。

---

求 ${\psi }_1,{\psi }_2$ 的全微分：

$$\begin{array}{rl}\mathrm{d}{\psi }_1& =3\mathrm{d}{l}_1-2\mathrm{d}{l}_2\\ \mathrm{d}{\psi }_2& =l_1^0\mathrm{d}{l}_2+l_2^0\mathrm{d}{l}_1+2l_3^0\mathrm{d}{l}_3\end{array}$$

因此令 $\mathrm{d}{\mathit{\psi }}_{2\times 1}=\mathit{K}\mathrm{d}{\mathit{l}}_{3\times 1}$，有

$$\mathit{K}=\left[\begin{array}{ccc}3& -2& 0\\ 8& 6& 20\end{array}\right]$$

因此有

$$\begin{array}{rl}{\mathit{D}}_{\psi \psi }& =\mathit{K}{\mathit{D}}_{ll}{\mathit{K}}^{\mathrm{T}}\\ & =\left[\begin{array}{ccc}3& -2& 0\\ 8& 6& 20\end{array}\right]\left[\begin{array}{ccc}1.2& -0.4& 0.2\\ -0.4& 0.8& 0\\ 0.2& 0& 0.6\end{array}\right]\left[\begin{array}{cc}3& 8\\ -2& 6\\ 0& 20\end{array}\right]\\ & =\left[\begin{array}{cc}54& 32\\ 32& 1856\end{array}\right]\end{array}$$

故有 ${\sigma }_{{\psi }_1}^2=54$，${\sigma }_{{\psi }_2}^2=1856$，${\sigma }_{{\psi }_1{\psi }_2}=32$。

多函数传播

• 单个观测向量的两个函数的互协方差

  对于观测向量 $\mathit{x}$，有两个函数 $\mathit{f}=\mathit{A}\mathit{x}+{\mathit{a}}_0$ 和 $\mathit{g}=\mathit{B}\mathit{x}+{\mathit{b}}_0$，则有 $\mathit{f},\mathit{g}$ 的互协方差阵：

  $$\begin{array}{rl}{\mathit{D}}_{fg}& =\mathit{A}{\mathit{D}}_{xx}{\mathit{B}}^{\mathrm{T}}\\ {\mathit{D}}_{gf}& =\mathit{B}{\mathit{D}}_{xx}{\mathit{A}}^{\mathrm{T}}\end{array}$$

• 两个观测向量各自函数的互协方差

  对于观测向量 $\mathit{x}$ 有函数 $\mathit{f}=\mathit{A}\mathit{x}+{\mathit{a}}_0$，对于观测向量 $\mathit{y}$ 有函数 $\mathit{w}=\mathit{C}\mathit{y}+{\mathit{c}}_0$，则有 $\mathit{f},\mathit{w}$ 的互协方差阵：

  $$\begin{array}{rl}{\mathit{D}}_{fw}& =\mathit{A}{\mathit{D}}_{xy}{\mathit{C}}^{\mathrm{T}}\\ {\mathit{D}}_{wf}& =\mathit{C}{\mathit{D}}_{yx}{\mathit{A}}^{\mathrm{T}}\end{array}$$

对于非线性函数，也可以按前述方法转化为线性函数后再求解。