3.2 构造 GLM

假设你想要构造一个模型来预测在给定时间内到某商店购物的顾客人数，我们输入的特征为促销情况、宣传营销、天气、星期几等。由泊松过程相关知识，我们知道泊松分布对这类问题来说是一种良好的预测模型。在了解到以上信息后，我们该如何构建我们的模型呢？本节我们就着手构建广义线性模型（泊松分布是指数分布族的一种）。

假设这是一个回归问题或者分类问题，我们需要给出目标变量 $y$ 关于特征 $x$ 的函数。我们作出以下假设：

• $y\mid x;\theta \sim \text{ExponentialFamily}(\eta )$；
• 对于给定的 $x$，我们的目标是预测条件期望 $\mathbb{E}[T(y)\mid x]$；而在大多数情况下 $T(y)=y$，所以亦即求 $h(x)=\mathbb{E}[y\mid x]$；
• $\eta$ 与 $x$ 是线性关系：$\eta ={\theta }^{\text{T}}x$. 若 $\eta$ 是向量，则 ${\eta }_i={\theta }_i^{\text{T}}x$.

普通最小二乘

在最小二乘问题中，我们假设 $y-h_{\theta }(x)$，即噪音项是正态分布，即 $y\mid x\sim \mathcal{N}(\mu ,{\sigma }^2)$。由于正态分布是指数族分布的一种，根据前面推导的结论，有

$$\begin{array}{rl}{h}_{\theta }(x)& =\mathbb{E}[y\mid x;\theta ]\\ & =\mu \\ & =\eta \\ & ={\theta }^{\text{T}}x.\end{array}$$

这就推导出了线性回归的公式。

逻辑回归

在逻辑回归中，响应变量 $y$ 的取值为 $\{0,1\}$。我们假设 $y\mid x;\theta \sim \text{Bernoulli}(\varphi )$，由于伯努利分布是指数族分布的一种，根据前面的推论，我们有 $\varphi =1/(1+e^{-\eta })$；并且条件期望可以简单地由 $\mathbb{E}[y\mid x;\theta ]=\varphi$ 给出。

$$\begin{array}{rl}{h}_{\theta }(x)& =\mathbb{E}[y\mid x;\theta ]\\ & =\varphi \\ & =1/(1+e^{-\eta })\\ & =1/(1+\exp (-{\theta }^{\text{T}}x)).\end{array}$$

这就自然地解释了为什么在条件分布为伯努利分布的情况下，我们要采用逻辑回归。

术语

• 典范响应函数：$g(\eta )=\mathbb{E}[T(y);\eta ]$；
• 典范链接函数：$g^{-1}$.

有关指数族分布

以下讨论基于上面的三条假设。

非条件期望

性质 1. $\mathbb{E}[T(y);\eta ]=a^{\prime }(\eta )$.

[!证明]

由概率密度函数在 $\mathbb{R}$ 上的积分为 $1$，即

$${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}p(y;\eta )\text{d}y={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}b(y)\exp ({\eta }^{\text{T}}T(y))/\exp (a(\eta ))\text{d}y=1.$$

即

$${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}b(y)\exp ({\eta }^{\text{T}}T(y))\text{d}y=\exp (a(\eta )).$$

两边对 $\eta$ 求导，有

$$\begin{array}{rl}\frac{\partial }{\partial \eta }{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}b(y)\exp ({\eta }^{\text{T}}T(y))\text{d}y& ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}b(y)\exp ({\eta }^{\text{T}}T(y))T(y)\text{d}y\\ & =\exp (a(\eta ))a^{\prime }(\eta ).\end{array}$$

将 $\exp (a(\eta ))$ 移至左边，即

$${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}T(y)b(y)\exp ({\eta }^{\text{T}}T(y)-a(\eta ))\text{d}y=a^{\prime }(\eta ).$$

亦即

$$\mathbb{E}[T(y);\eta ]=a^{\prime }(\eta ).$$

而在大多数情况下，$T(y)=y$，因此我们可以得到非条件期望

$$\mathbb{E}(y;\eta )=a^{\prime }(\eta ).$$

这样，原本需要通过复杂的积分求解的期望，现在只需对 $a(\eta )$ 求导便可得到。

方差

• $\text{Var}(T(y);\eta )=a^{″}(\eta )$.

[!证明]

在上面的证明中，我们得到了

$${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}b(y)\exp ({\eta }^{\text{T}}T(y))T(y)\text{d}y=\exp (a(\eta ))a^{\prime }(\eta ).$$

两边对 $\eta$ 求导，有

$${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{T}^2(y)b(y)\exp ({\eta }^{\text{T}}T(y))\text{d}y=\exp (a(\eta ))([a^{\prime }(\eta ){]}^2+a^{″}(\eta )).$$

将 $\exp (a(\eta ))$ 移到左边，有

$${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{T}^2(y)b(y)\exp ({\eta }^{\text{T}}T(y)-a(\eta ))=[a^{\prime }(\eta ){]}^2+a^{″}(\eta ).$$

即

$$\mathbb{E}[T^2(y);\eta ]=[a^{\prime }(\eta ){]}^2+a^{″}(\eta )$$

然后结合上题结论，我们就得到了方差

$$\text{Var}(T(y))=a^{″}(\eta ).$$

在一般情况下，$T(y)=y$，所以我们就得到了方差

$$\text{Var}(y)=a^{″}(\eta ).$$

损失函数

对指数族函数，我们一般用负对数似然函数 $l(\theta )$ 作为损失函数。证明：$l(\theta )$ 的 Hessian 阵为半正定阵，即 $l$ 为凸函数。

[!证明]

首先写出 $l(\theta )$ 的表达式

$$l(\theta )=-\log p(y\mid x;\theta )=-\log b(y)+a(\eta )-{\eta }^{\text{T}}T(y)=-\log b(y)+a({\theta }^{\text{T}}x)-x^{\text{T}}\theta T(y).$$

其对 $\theta$ 的梯度为

$${\mathrm{\nabla }}_{\theta }l(\theta )=a^{\prime }({\theta }^{\text{T}}x)x-T(y)x.$$

对 $\theta$ 的 Hessian 阵为

$$H_l(\theta )=a^{″}({\theta }^{\text{T}})x{x}^{\text{T}}.$$

显然 $x{x}^{\text{T}}$ 半正定，故只需证 $a^{″}(\eta )\ge 0$.

由

$$\text{Var}(T(y))=a^{″}(\eta )\ge 0$$

知 $a^{″}(\eta )\ge 0$. 故 $H_l(\theta )$ 半正定。

---

从上面的讨论中我们可以看到：

• 所有的 GLM 模型都是对其参数都是凸的；
• 计算非条件期望和方差只需对 $a(\eta )$ 求一阶和二阶导。