3.1 指数分布族

之前我们学习了回归问题和分类问题。在回归问题的例子中，我们使用了线性回归，并做了概率假设：$y\mid x;\theta \sim \mathcal{N}(\mu ,{\sigma }^2)$；在分类问题中，我们的概率假设是 $y\mid x;\theta \sim \text{Bernoulli}(\varphi )$，其中 $\mu$ 和 $\varphi$ 都是 $x$ 和 $\theta$ 的函数。在本节中，我们会揭示这两种方法都是某个更广义的模型的特殊情况，这种广义的模型被称作广义线性模型 (GLMs)。在接下来的几节中，我们会展示如何利用 GLM 推导得到其他分类和回归算法。

在开始介绍 GLM 之前，我们先引入一类分布：指数分布族。如果一个分布满足如下关系式：

$$p(y;\eta )=b(y)\exp ({\eta }^{\text{T}}T(y)-a(\eta )),$$

则称这类分布为指数分布族。这里，$\eta$ 被称为自然参数，又被称作典范参数；$T(y)$ 是充分统计量，在我们所研究的分布中，大多数情况下 $T(y)=y$；$a(\eta )$ 被称作对数配分函数。$e^{-a(\eta )}$ 所起的作用是配平系数，使得概率函数在其支集上的积分为 $1$。

给定 $a,b,T$，就可以根据上式定义一族分布，以 $\eta$ 为参数；当 $\eta$ 变化时，产生这一族内的不同的分布。

接下来我们解释伯努利分布和高斯分布都是指数族分布的子成员。

伯努利分布

设 $y\sim \text{Bernoulli}(\varphi )$，则有

$$\{\begin{array}{l}p(y=1;\varphi )=\varphi \\ p(y=0;\varphi )=1-\varphi \end{array}.$$

上式可合并为

$$\begin{array}{rl}p(y;\varphi )& ={\varphi }^y(1-\varphi {)}^{1-y}\\ & =\exp (y\log \varphi +(1-y)\log (1-\varphi ))\\ & =\exp (\log \left(\frac{\varphi }{1-\varphi }\right)y+\log (1-\varphi )).\end{array}$$

因此

$$\begin{array}{rl}T(y)& =y\\ a(\eta )& =-\log (1-\varphi )=\log (1+e^{\eta })\\ b(y)& =1\end{array}$$

这说明伯努利分布可以写成指数族分布的形式，即伯努利分布是指数族分布的一种。

高斯分布

在线性回归的概率假设中，我们注意到 ${\sigma }^2$ 的取值对我们最终选择的 $\theta$ 和 $h_{\theta }(x)$ 都没有影响。所以我们可以给 ${\sigma }^2$ 取一个任意值。为了简化推导过程，就令 ${\sigma }^2=1$。然后就有了下面的等式：

$$\begin{array}{rl}p(y;\mu )& =\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}(y-\mu {)}^2)\\ & =\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}{y}^2)\cdot \exp (\mu y-\frac{1}{2}{\mu }^2)\end{array}$$

NOTE

如果我们把 ${\sigma }^2$ 留作一个变量，高斯分布也可以表达成指数分布的形式，其中 $\eta \in R^2$ 是一个二维向量，同时依赖于 $\mu$ 和 $\sigma$。然而，对于 GLM， ${\sigma }^2$ 参数也可以看成是对指数分布族的更泛化的定义： $p(y;\eta ,\tau )=b(a,\tau )exp(({\eta }^{T}T(y)-a(\eta ))/c(\tau ))$。这里面的 $\tau$ 叫做分散度参数（dispersion parameter），对于高斯分布， $c(\tau )={\sigma }^2$ ；不过上文中我们已经进行了简化，所以对于我们接下来要考虑的各种案例，就不需要再进行更加泛化的定义了。

这样，我们就可以看出来高斯分布是属于指数分布族的，可以写成下面这样：

$$\begin{array}{rl}\eta & =\mu \\ T(y)& =y\\ a(\eta )& ={\mu }^2/2\\ & ={\eta }^2/2\\ b(y)& =(1/\sqrt{2\pi })exp(-y^2/2)\end{array}$$

指数分布族里面还有很多其他的分布：

• 例如多项式分布（multinomial），这个稍后我们会看到；
• 泊松分布（Poisson），用于对计数类数据进行建模，后面再问题集里面也会看到；
• 伽马和指数分布（the gamma and the exponential），这个用于对连续的、非负的随机变量进行建模，例如时间间隔；
• 贝塔和狄利克雷分布（the beta and the Dirichlet），这个是用于概率的分布；

还有很多，这里就不一一列举了。