设有约束（可认为是 ${\mathbb{R}}^m$ 的一个子集）

$$\Sigma =\{\mathbf{x}\in {\mathbb{R}}^m\mid \mathbf{f}(\mathbf{x})=0\in {\mathbb{R}}^r\}.$$

其上定义有目标函数

$$\Sigma \ni \mathbf{x}\mapsto \theta (\mathbf{x})\in \mathbb{R}.$$

现求 ${\mathbf{x}}_{\star }\in \Sigma$，满足

$$\theta ({\mathbf{x}}_{\star })=\underset{\Sigma }{\sup }\theta (\mathbf{x})或\underset{\Sigma }{\inf }\theta (\mathbf{x}).$$

这类问题称为约束上的最值问题。

首先，根据 $\mathbf{f}(\mathbf{x})=0\in {\mathbb{R}}^r$，我们可以对其进行因果分解：

作 $\mathbf{F}(\mathbf{\xi },\mathbf{\eta })=\mathbf{f}(\mathbf{x})$，其中 $\mathbf{\xi }\in {\mathbb{R}}^{m-r},\mathbf{\eta }\in {\mathbb{R}}^r$。若可因果分解，需有 ${\text{D}}_{\mathbf{\eta }}\mathbf{F}(\mathbf{\xi },\mathbf{\eta })\in {\mathbb{R}}^{r\times r}$ 非奇异。假设此条成立。

则存在 $\mathbf{\eta }=\mathbf{\eta }(\mathbf{\xi })$.

则 $\theta (\mathbf{x})=\theta (\mathbf{\xi },\mathbf{\eta }):=\tilde{\theta }(\mathbf{\xi })$.

我们知道，最值点一般是临界点或边界点。

NOTE

• 临界点：各个一阶偏导数为零的点，不一定是极值点。

• 边界点：在定义域的边界集合 $\partial {\mathfrak{D}}_{\mathbf{x}}$ 上的点。

我们先来考虑临界点的情况。

$$\frac{\partial \tilde{\theta }}{\partial \tilde{e}}({\mathbf{\xi }}_{\star })=\text{D}\tilde{\theta }({\mathbf{\xi }}_{\star })\tilde{\mathbf{e}},\forall |\tilde{\mathbf{e}}{|}_{{\mathbb{R}}^r}=1.$$

根据临界点的定义，有

$$\text{D}\tilde{\theta }({\mathbf{\xi }}_{\star })=0\in {\mathbb{R}}^{1\times r}.$$

计算

$$\begin{array}{rl}\text{D}\tilde{\theta }(\mathbf{\xi })& ={\text{D}}_{\mathbf{\xi }}\theta +{\text{D}}_{\mathbf{\eta }}\theta \cdot \text{D}\mathbf{\eta }(\mathbf{\xi })\\ & ={\text{D}}_{\mathbf{\xi }}\theta -{\text{D}}_{\mathbf{\eta }}\theta \cdot ({\text{D}}_{\mathbf{\eta }}\mathbf{f}{)}^{-1}\cdot {\text{D}}_{\mathbf{\xi }}\mathbf{f}.\end{array}$$

则有

$${\text{D}}_{\mathbf{\xi }}\theta -{\text{D}}_{\mathbf{\eta }}\theta \cdot ({\text{D}}_{\mathbf{\eta }}\mathbf{f}{)}^{-1}\cdot {\text{D}}_{\mathbf{\xi }}\mathbf{f}=0\in {\mathbb{R}}^{1\times r}.$$

上面这个方程叫做临界点方程，它指出了所有临界点所满足的条件。

下面我们来判别临界点的类别。判别方法是利用无限小增量公式，展开至二阶项。

考虑

$$\begin{array}{rl}\theta ({\mathbf{\xi }}_{\star }+\Delta \mathbf{\xi },{\mathbf{\eta }}_{\star }+\Delta \mathbf{\eta })-\theta ({\mathbf{\xi }}_{\star },{\mathbf{\eta }}_{\star })& ={\left[\begin{array}{c}{\text{D}}_{\mathbf{\xi }}\theta ,{\text{D}}_{\mathbf{\eta }}\theta \end{array}\right]}_{\star }\left[\begin{array}{c}\Delta \mathbf{\xi }\\ \Delta \mathbf{\eta }\end{array}\right]\\ & +\frac{1}{2}\left[\begin{array}{c}(\Delta \mathbf{\xi }{)}^{\text{T}},(\Delta \mathbf{\eta }{)}^{\text{T}}\end{array}\right]{\left[\begin{array}{cc}{\text{D}}_{\mathbf{\xi }}{\text{D}}_{\mathbf{\xi }}\theta & {\text{D}}_{\mathbf{\xi }}{\text{D}}_{\mathbf{\eta }}\theta \\ {\text{D}}_{\mathbf{\eta }}{\text{D}}_{\mathbf{\xi }}\theta & {\text{D}}_{\mathbf{\eta }}{\text{D}}_{\mathbf{\eta }}\theta \end{array}\right]}_{\star }\left[\begin{array}{c}\Delta \mathbf{\xi }\\ \Delta \mathbf{\eta }\end{array}\right]\\ & +o(|\Delta \mathbf{\xi }{|}_{{\mathbb{R}}^s}^2+|\Delta \mathbf{\eta }{|}_{{\mathbb{R}}^r}^2).(1)\end{array}$$

再考虑约束上的无限小增量公式：

$$\begin{array}{rl}{f}^{\alpha }({\mathbf{\xi }}_{\star }+\Delta \mathbf{\xi },{\mathbf{\eta }}_{\star }+\Delta \mathbf{\eta })-f^{\alpha }({\mathbf{\xi }}_{\star },{\mathbf{\eta }}_{\star })& ={\left[\begin{array}{c}{\text{D}}_{\mathbf{\xi }}{f}^{\alpha },{\text{D}}_{\mathbf{\eta }}{f}^{\alpha }\end{array}\right]}_{\star }\left[\begin{array}{c}\Delta \mathbf{\xi }\\ \Delta \mathbf{\eta }\end{array}\right]\\ & +\frac{1}{2}\left[\begin{array}{c}(\Delta \mathbf{\xi }{)}^{\text{T}},(\Delta \mathbf{\eta }{)}^{\text{T}}\end{array}\right]\left[\begin{array}{cc}{\text{D}}_{\mathbf{\xi }}{\text{D}}_{\mathbf{\xi }}{f}^{\alpha }& {\text{D}}_{\mathbf{\xi }}{\text{D}}_{\mathbf{\eta }}{f}^{\alpha }\\ {\text{D}}_{\mathbf{\eta }}{\text{D}}_{\mathbf{\xi }}{f}^{\alpha }& {\text{D}}_{\mathbf{\eta }}{\text{D}}_{\mathbf{\eta }}{f}^{\alpha }\end{array}\right]\left[\begin{array}{c}\Delta \mathbf{\xi }\\ \Delta \mathbf{\eta }\end{array}\right]\\ & +o(|\Delta \mathbf{\xi }{|}_{{\mathbb{R}}^s}^2+|\Delta \mathbf{\eta }{|}_{{\mathbb{R}}^s}^2).(2)\end{array}$$

对于 $(2)$ 式左边，如果我们假设点 $({\mathbf{\xi }}_{\star }+\Delta \mathbf{\xi },{\mathbf{\eta }}_{\star }+\Delta \mathbf{\eta })$ 和 $({\mathbf{\xi }}_{\star },{\mathbf{\eta }}_{\star })$ 均在 $\Sigma$ 上，则左边等于 $0$.

对 $(2)$ 式左右两边同时乘上 ${\lambda }_{\alpha }$，其中 $\alpha =1,2,\cdots ,r$，这 $r$ 个式子可统一为一个矩阵表达式，然后加到 $(1)$ 式上，可有：一阶项系数为

$$\begin{array}{rl}& \Delta \mathbf{\xi }:{\text{D}}_{\mathbf{\xi }}\theta +{\lambda }_{\alpha }{\text{D}}_{\xi }{f}^{\alpha }={\text{D}}_{\mathbf{\xi }}\theta +{\mathbf{\Lambda }}^{\text{T}}{\text{D}}_{\mathbf{\xi }}\mathbf{f},\\ & \Delta \mathbf{\eta }:{\text{D}}_{\mathbf{\eta }}\theta +{\lambda }_{\alpha }{\text{D}}_{\mathbf{\eta }}{f}^{\alpha }={\text{D}}_{\mathbf{\eta }}\theta +{\mathbf{\Lambda }}^{\text{T}}{\text{D}}_{\mathbf{\eta }}\mathbf{f}.\end{array}$$

由题意，$({\mathbf{\xi }}_{\star },{\mathbf{\eta }}_{\star })$ 为临界点，故一阶项系数都为零。

由 $\Delta \mathbf{\eta }$ 的系数为零，得

$${\mathbf{\Lambda }}^{\text{T}}=-{\text{D}}_{\mathbf{\eta }}\theta \cdot ({\text{D}}_{\mathbf{\xi }}\mathbf{f}{)}^{-1}.$$

代入到 $\Delta \mathbf{\xi }$ 的系数项中，有

$${\text{D}}_{\mathbf{\xi }}\theta -{\text{D}}_{\mathbf{\eta }}\theta \cdot ({\text{D}}_{\mathbf{\xi }}\mathbf{f}{)}^{-1}\cdot {\text{D}}_{\mathbf{\xi }}\mathbf{f}.$$

上式正好是临界点方程，自然为 $0$.

接下来我们来处理二阶项

$$\frac{1}{2}\left[\begin{array}{c}(\Delta \mathbf{\xi }{)}^{\text{T}},(\Delta \mathbf{\eta }{)}^{\text{T}}\end{array}\right]\cdot {\mathbf{H}}_L({\mathbf{\xi }}_{\star },{\mathbf{\eta }}_{\star })\cdot \left[\begin{array}{c}\Delta \mathbf{\xi }\\ \Delta \mathbf{\eta }\end{array}\right].$$

其中

$$L(\mathbf{\xi },\mathbf{\eta },\mathbf{\lambda })=\theta (\mathbf{\xi },\mathbf{\eta })-{\mathbf{\Lambda }}^{\text{T}}\mathbf{f}(\mathbf{\xi },\mathbf{\eta }).$$

由

$$\begin{array}{rl}\Delta \mathbf{\eta }& =\mathbf{\eta }({\mathbf{\xi }}_{\star }+\Delta \mathbf{\xi })-\mathbf{\eta }({\mathbf{\xi }}_{\star })\\ & =\text{D}\mathbf{\eta }({\mathbf{\xi }}_{\star })\Delta \mathbf{\xi }+o(|\Delta \mathbf{\xi }{|}_{{\mathbb{R}}^s}).\end{array}$$

有

$$\left[\begin{array}{c}\Delta \mathbf{\xi }\\ \Delta \mathbf{\eta }\end{array}\right]=\left[\begin{array}{c}\Delta \mathbf{\xi }\\ \text{D}\mathbf{\eta }({\mathbf{\xi }}_{\star })\Delta \mathbf{\xi }\end{array}\right]=\left[\begin{array}{c}{\mathbf{I}}_s\\ \text{D}\mathbf{\eta }({\mathbf{\xi }}_{\star })\end{array}\right]\Delta \mathbf{\xi }.$$

故二阶项为

$$\frac{1}{2}(\Delta \mathbf{\xi }{)}^{\text{T}}\left[\begin{array}{c}{\mathbf{I}}_s,(\text{D}\mathbf{\eta }{)}^{\text{T}}({\mathbf{\xi }}_{\star })\end{array}\right]{\mathbf{H}}_L({\mathbf{\xi }}_{\star },{\mathbf{\eta }}_{\star })\left[\begin{array}{c}{\mathbf{I}}_r\\ \text{D}\mathbf{\eta }({\mathbf{\xi }}_{\star })\end{array}\right]\Delta \mathbf{\xi }.$$

显然这是一个二次型。假如其系数矩阵是正定矩阵，根据正定矩阵的性质，则 $({\mathbf{\xi }}_{\star },{\mathbf{\eta }}_{\star })$ 为极小值点；负定则为极大值点；不定矩阵则需要引入张量进行判别。