2 协方差阵及其传播律

变量符号约定

• $c$ 常数
• $x$ 随机变量
• $\mathit{c}$ 常向量
• $\mathit{x}$ 随机向量
• $\mathit{A}$ 矩阵
• $D_{xy}$ 随机变量 $x$ 和 $y$ 的协方差
• ${\mathit{D}}_{xx}$ 随机向量 $\mathit{x}$ 的自协方差阵
• ${\mathit{D}}_{xy}$ 随机向量 $\mathit{x}$ 和 $\mathit{y}$ 的互协方差阵

回顾误差传播定律

我们在 测量学 / 测量误差及处理方法 - 误差传播公式 中提到过了误差传播定律的内容：

对于一般多元函数 $Z=f(x_1,x_2,\cdots ,x_n)$，有

$${\sigma }_Z=\pm \sqrt{{\left(\frac{\partial f}{\partial x_1}\right)}^2{\sigma }_1^2+{\left(\frac{\partial f}{\partial x_2}\right)}^2{\sigma }_2^2+\cdots +{\left(\frac{\partial f}{\partial x_n}\right)}^2{\sigma }_n^2}$$

即

$${\sigma }_Z=\pm \sqrt{\sum _i{\left(\frac{\partial f}{\partial x_i}\right)}^2{\sigma }_i^2}$$

其具有一些局限性，例如

• 要求 $x_1,x_2,\cdots ,x_n$ 均为相互独立的原始观测量，如果不是，要化成原始观测量
• 对于每个函数 $Z$ 均需要单独列式计算，无法同时获得多个函数的方差及它们之间的协方差

因此我们引入线性代数的手段简化这一过程。

TIP

计算量是不会简化到哪里去的 —— 有多少东西要算，转化完还是那么多东西要算。简化的意义是避免繁琐冗杂的列式、便于机器自动化处理。

协方差阵

自协方差阵

我们将 $n$ 个初始观测值 $L_1,L_2,\cdots ,L_n$ 组成一个向量：定义观测向量 $\mathit{L}=[L_1,L_2,\cdots ,L_n{]}^{\mathrm{T}}$。该观测向量服从 $n$ 维正态分布。

则有对应的数学期望向量 $E(\mathit{L})=[E(L_1),\cdots ,E(L_n){]}^{\mathrm{T}}$。

由此我们定义 方差 - 协方差阵（也称 自协方差阵）：

$$\begin{array}{rl}{\mathit{D}}_{LL}& =E\{[\mathit{L}-E(\mathit{L})][\mathit{L}-E(\mathit{L}){]}^{\mathrm{T}}\}\\ & =\left[\begin{array}{cccc}{\sigma }_{L_1}^2& {\sigma }_{L_1{L}_2}& \cdots & {\sigma }_{L_1{L}_n}\\ {\sigma }_{L_2{L}_1}& {\sigma }_{L_2}^2& \cdots & {\sigma }_{L_2{L}_n}\\ ⋮& ⋮& \ddots & ⋮\\ {\sigma }_{L_n{L}_1}& {\sigma }_{L_n{L}_2}& \cdots & {\sigma }_{L_n}^2\end{array}\right]\end{array}$$

TIP

从一维拓展到 $n$ 维时，$a^2$ 的形式通常会转化为 $\mathit{A}{\mathit{A}}^{\mathrm{T}}$。我们后续还会再遇到。

自协方差阵的特点：

• ${\mathit{D}}_{LL}$ 是对称阵：协方差具有对称性，${\sigma }_{L_i{L}_j}={\sigma }_{L_j{L}_i}$
• 主对角元是方差：$i$ 行 $i$ 列是随机变量 $L_i$ 的方差
• 非主对角元是协方差：$i$ 行 $j$ 列（$i\ne j$）是随机变量 $L_i$ 和 $L_j$ 的协方差
• 观测值相互独立时是对角阵：若 $L_i$ 两两相互独立，则所有协方差为零，只剩主对角元，${\mathit{D}}_{LL}=\mathrm{diag}[{\sigma }_{L_1}^2,\cdots ,{\sigma }_{L_n}^2]$
• 等精度独立观测时是数量阵：在两两独立的基础上，若所有观测量等精度，则所有 ${\sigma }_{L_i}^2$ 均相等，${\mathit{D}}_{LL}={\sigma }_L^2\mathit{I}$

互协方差阵

前面的自协方差阵，是只有一个观测向量形成的协方差阵。除此之外还可以由两个不同的观测向量组成协方差阵。

对于两个观测向量 ${\mathit{x}}_{n\times 1}$ 和 ${\mathit{y}}_{m\times 1}$，定义二者的互协方差阵 ${\mathit{D}}_{xy}$ 和 ${\mathit{D}}_{yx}$：

$$\begin{array}{rl}\underset{n\times m}{{\mathit{D}}_{xy}}& =E\{[\mathit{x}-E(\mathit{x})][\mathit{y}-E(\mathit{y}){]}^{\mathrm{T}}\}\\ \\ \underset{m\times n}{{\mathit{D}}_{yx}}& =E\{[\mathit{y}-E(\mathit{y})][\mathit{x}-E(\mathit{x}){]}^{\mathrm{T}}\}\end{array}$$

例子

例如对于 ${\mathit{x}}_{3\times 1}=[x_1,x_2,x_3{]}^{\mathrm{T}}$，${\mathit{y}}_{2\times 1}=[y_1,y_2{]}^{\mathrm{T}}$，则有

$$\begin{array}{rlrl}\mathit{x}\mathrm{的}\mathrm{自}\mathrm{协}\mathrm{方}\mathrm{差}\mathrm{阵}& & {\mathit{D}}_{xx}& =\left[\begin{array}{ccc}{\sigma }_{x_1}^2& {\sigma }_{x_1{x}_2}& {\sigma }_{x_1{x}_3}\\ {\sigma }_{x_2{x}_1}& {\sigma }_{x_2}^2& {\sigma }_{x_2{x}_3}\\ {\sigma }_{x_3{x}_1}& {\sigma }_{x_3{x}_2}& {\sigma }_{x_3}^2\end{array}\right]\\ \\ \mathit{y}\mathrm{的}\mathrm{自}\mathrm{协}\mathrm{方}\mathrm{差}\mathrm{阵}& & {\mathit{D}}_{yy}& =\left[\begin{array}{cc}{\sigma }_{y_1}^2& {\sigma }_{y_1{y}_2}\\ {\sigma }_{y_2{y}_1}& {\sigma }_{y_2}^2\end{array}\right]\\ \\ \mathit{x},\mathit{y}\mathrm{的}\mathrm{互}\mathrm{协}\mathrm{方}\mathrm{差}\mathrm{阵}& & {\mathit{D}}_{xy}& =\left[\begin{array}{cc}{\sigma }_{x_1{y}_1}& {\sigma }_{x_1{y}_2}\\ {\sigma }_{x_2{y}_1}& {\sigma }_{x_2{y}_2}\\ {\sigma }_{x_3{y}_1}& {\sigma }_{x_3{y}_2}\end{array}\right]\\ \\ \mathit{y},\mathit{x}\mathrm{的}\mathrm{互}\mathrm{协}\mathrm{方}\mathrm{差}\mathrm{阵}& & {\mathit{D}}_{yx}& =\left[\begin{array}{ccc}{\sigma }_{y_1{x}_1}& {\sigma }_{y_1{x}_2}& {\sigma }_{y_1{x}_3}\\ {\sigma }_{y_2{x}_1}& {\sigma }_{y_2{y}_2}& {\sigma }_{y_2{x}_3}\end{array}\right]\end{array}$$

互协方差阵的特点：

• 一般不是方阵（$m=n$ 时是方阵）
• 矩阵元素均为协方差，没有方差
• ${\mathit{D}}_{xy}={\mathit{D}}_{yx}^{\mathrm{T}}$
• 若 ${\mathit{D}}_{xy}$ 或 ${\mathit{D}}_{yx}$ 为 $\mathit{O}$，则随机变量 $\mathit{x},\mathit{y}$ 互不相关

协方差阵的传播律

单函数传播

此前的误差传播定律提到对于 $f=ax+b$，则有 ${\sigma }_f^2=a^2{\sigma }_x^2$。现在我们将其推广到 $n$ 维。

对于随机向量的线性函数 $\mathit{f}=\mathit{A}\mathit{x}+{\mathit{a}}_0$，有

$${\mathit{D}}_{ff}=\mathit{A}{\mathit{D}}_{xx}{\mathit{A}}^{\mathrm{T}}$$

证明

$$\begin{array}{rl}\mathit{f}& =\mathit{A}\mathit{x}+{\mathit{a}}_0\\ E(\mathit{f})& =E(\mathit{A}\mathit{x}+{\mathit{a}}_0)=\mathit{A}E(\mathit{x})+{\mathit{a}}_0\\ {\mathit{D}}_{ff}& =E\left\{[\mathit{f}-E(\mathit{f})]{[\mathit{f}-E(\mathit{f})]}^{\mathrm{T}}\right\}\\ & =E\left\{[\mathit{A}\mathit{x}+\cancel{{\mathit{a}}_0}-\mathit{A}E(\mathit{x})-\cancel{{\mathit{a}}_0}]{[\mathit{A}\mathit{x}+\cancel{{\mathit{a}}_0}-\mathit{A}E(\mathit{x})-\cancel{{\mathit{a}}_0}]}^{\mathrm{T}}\right\}\\ & =\mathit{A}E\{[\mathit{x}-E(\mathit{x})][\mathit{x}-E(\mathit{x}){]}^{\mathrm{T}}\}{\mathit{A}}^{\mathrm{T}}\\ & =\mathit{A}{\mathit{D}}_{xx}{\mathit{A}}^{\mathrm{T}}\end{array}$$

对于非线性函数，与此前一维的处理类似，可以通过线性化近似的方法来解决：求函数值的全微分，用观测值计算偏导数值，得到线性近似表达式。

例

已知：

$$\{\begin{array}{rl}{\psi }_1& =3l_1-2l_2\\ {\psi }_2& =l_1{l}_2+l_3^2\end{array}{\mathit{D}}_{ll}=\left[\begin{array}{ccc}1.2& -0.4& 0.2\\ -0.4& 0.8& 0\\ 0.2& 0& 0.6\end{array}\right]$$

求：当 $l_1^0=6$，$l_2^0=8$，$l_3^0=10$ 时的 ${\mathit{D}}_{\psi \psi }$。

---

求 ${\psi }_1,{\psi }_2$ 的全微分：

$$\begin{array}{rl}\mathrm{d}{\psi }_1& =3\mathrm{d}{l}_1-2\mathrm{d}{l}_2\\ \mathrm{d}{\psi }_2& =l_1^0\mathrm{d}{l}_2+l_2^0\mathrm{d}{l}_1+2l_3^0\mathrm{d}{l}_3\end{array}$$

因此令 $\mathrm{d}{\mathit{\psi }}_{2\times 1}=\mathit{K}\mathrm{d}{\mathit{l}}_{3\times 1}$，有

$$\mathit{K}=\left[\begin{array}{ccc}3& -2& 0\\ 8& 6& 20\end{array}\right]$$

因此有

$$\begin{array}{rl}{\mathit{D}}_{\psi \psi }& =\mathit{K}{\mathit{D}}_{ll}{\mathit{K}}^{\mathrm{T}}\\ & =\left[\begin{array}{ccc}3& -2& 0\\ 8& 6& 20\end{array}\right]\left[\begin{array}{ccc}1.2& -0.4& 0.2\\ -0.4& 0.8& 0\\ 0.2& 0& 0.6\end{array}\right]\left[\begin{array}{cc}3& 8\\ -2& 6\\ 0& 20\end{array}\right]\\ & =\left[\begin{array}{cc}54& 32\\ 32& 1856\end{array}\right]\end{array}$$

故有 ${\sigma }_{{\psi }_1}^2=54$，${\sigma }_{{\psi }_2}^2=1856$，${\sigma }_{{\psi }_1{\psi }_2}=32$。

多函数传播

• 单个观测向量的两个函数的互协方差

  对于观测向量 $\mathit{x}$，有两个函数 $\mathit{f}=\mathit{A}\mathit{x}+{\mathit{a}}_0$ 和 $\mathit{g}=\mathit{B}\mathit{x}+{\mathit{b}}_0$，则有 $\mathit{f},\mathit{g}$ 的互协方差阵：

  $$\begin{array}{rl}{\mathit{D}}_{fg}& =\mathit{A}{\mathit{D}}_{xx}{\mathit{B}}^{\mathrm{T}}\\ {\mathit{D}}_{gf}& =\mathit{B}{\mathit{D}}_{xx}{\mathit{A}}^{\mathrm{T}}\end{array}$$

• 两个观测向量各自函数的互协方差

  对于观测向量 $\mathit{x}$ 有函数 $\mathit{f}=\mathit{A}\mathit{x}+{\mathit{a}}_0$，对于观测向量 $\mathit{y}$ 有函数 $\mathit{w}=\mathit{C}\mathit{y}+{\mathit{c}}_0$，则有 $\mathit{f},\mathit{w}$ 的互协方差阵：

  $$\begin{array}{rl}{\mathit{D}}_{fw}& =\mathit{A}{\mathit{D}}_{xy}{\mathit{C}}^{\mathrm{T}}\\ {\mathit{D}}_{wf}& =\mathit{C}{\mathit{D}}_{yx}{\mathit{A}}^{\mathrm{T}}\end{array}$$

对于非线性函数，也可以按前述方法转化为线性函数后再求解。