设有约束（可认为是 ${\mathbb{R}}^m$ 的一个子集）

$$\mathrm{\Sigma }=\{\mathit{x}\in {\mathbb{R}}^m|\mathit{f}(\mathit{x})=\mathbf{0}\in {\mathbb{R}}^r\}.$$

其上定义有目标函数

$$\mathrm{\Sigma }\ni \mathit{x}\mapsto \theta (\mathit{x})\in \mathbb{R}.$$

现求 ${\mathit{x}}_{\star }\in \mathrm{\Sigma }$，满足

$$\theta ({\mathit{x}}_{\star })=\underset{\mathrm{\Sigma }}{sup}\theta (\mathit{x})\mathrm{或}\underset{\mathrm{\Sigma }}{inf}\theta (\mathit{x}).$$

这类问题称为约束上的最值问题。

首先，根据 $\mathit{f}(\mathit{x})=\mathbf{0}\in {\mathbb{R}}^r$，我们可以对其进行因果分解：

作 $\mathit{F}(\mathit{\xi },\mathit{\eta })=\mathit{f}(\mathit{x})$，其中 $\mathit{\xi }\in {\mathbb{R}}^{m-r},\mathit{\eta }\in {\mathbb{R}}^r$。若可因果分解，需有 ${\mathbf{\text{D}}}_{\mathit{\eta }}\mathit{F}(\mathit{\xi },\mathit{\eta })\in {\mathbb{R}}^{r\times r}$ 非奇异。假设此条成立。

则存在 $\mathit{\eta }=\mathit{\eta }(\mathit{\xi })$.

则 $\theta (\mathit{x})=\theta (\mathit{\xi },\mathit{\eta }):=\tilde{\theta }(\mathit{\xi })$.

我们知道，最值点一般是临界点或边界点。

NOTE

• 临界点：各个一阶偏导数为零的点，不一定是极值点。

• 边界点：在定义域的边界集合 $\partial {\mathfrak{D}}_{\mathit{x}}$ 上的点。

我们先来考虑临界点的情况。

$$\frac{\partial \tilde{\theta }}{\partial \tilde{e}}({\mathit{\xi }}_{\star })=\mathbf{\text{D}}\tilde{\theta }({\mathit{\xi }}_{\star })\tilde{\mathit{e}},\mathrm{\forall }|\tilde{\mathit{e}}{|}_{{\mathbb{R}}^r}=1.$$

根据临界点的定义，有

$$\mathbf{\text{D}}\tilde{\theta }({\mathit{\xi }}_{\star })=\mathbf{0}\in {\mathbb{R}}^{1\times r}.$$

计算

$$\begin{array}{rl}\mathbf{\text{D}}\tilde{\theta }(\mathit{\xi })& ={\mathbf{\text{D}}}_{\mathit{\xi }}\theta +{\mathbf{\text{D}}}_{\mathit{\eta }}\theta \cdot \mathbf{\text{D}}\mathit{\eta }(\mathit{\xi })\\ & ={\mathbf{\text{D}}}_{\mathit{\xi }}\theta -{\mathbf{\text{D}}}_{\mathit{\eta }}\theta \cdot ({\mathbf{\text{D}}}_{\mathit{\eta }}\mathit{f}{)}^{-1}\cdot {\mathbf{\text{D}}}_{\mathit{\xi }}\mathit{f}.\end{array}$$

则有

$${\mathbf{\text{D}}}_{\mathit{\xi }}\theta -{\mathbf{\text{D}}}_{\mathit{\eta }}\theta \cdot ({\mathbf{\text{D}}}_{\mathit{\eta }}\mathit{f}{)}^{-1}\cdot {\mathbf{\text{D}}}_{\mathit{\xi }}\mathit{f}=\mathbf{0}\in {\mathbb{R}}^{1\times r}.$$

上面这个方程叫做临界点方程，它指出了所有临界点所满足的条件。

下面我们来判别临界点的类别。判别方法是利用无限小增量公式，展开至二阶项。

考虑

$$\begin{array}{rl}\theta ({\mathit{\xi }}_{\star }+\mathrm{\Delta }\mathit{\xi },{\mathit{\eta }}_{\star }+\mathrm{\Delta }\mathit{\eta })-\theta ({\mathit{\xi }}_{\star },{\mathit{\eta }}_{\star })& ={\left[\begin{array}{c}{\mathbf{\text{D}}}_{\mathit{\xi }}\theta ,{\mathbf{\text{D}}}_{\mathit{\eta }}\theta \end{array}\right]}_{\star }\left[\begin{array}{c}\mathrm{\Delta }\mathit{\xi }\\ \mathrm{\Delta }\mathit{\eta }\end{array}\right]\\ & +\frac{1}{2}\left[\begin{array}{c}(\mathrm{\Delta }\mathit{\xi }{)}^{\text{T}},(\mathrm{\Delta }\mathit{\eta }{)}^{\text{T}}\end{array}\right]{\left[\begin{array}{cc}{\mathbf{\text{D}}}_{\mathit{\xi }}{\mathbf{\text{D}}}_{\mathit{\xi }}\theta & {\mathbf{\text{D}}}_{\mathit{\xi }}{\mathbf{\text{D}}}_{\mathit{\eta }}\theta \\ {\mathbf{\text{D}}}_{\mathit{\eta }}{\mathbf{\text{D}}}_{\mathit{\xi }}\theta & {\mathbf{\text{D}}}_{\mathit{\eta }}{\mathbf{\text{D}}}_{\mathit{\eta }}\theta \end{array}\right]}_{\star }\left[\begin{array}{c}\mathrm{\Delta }\mathit{\xi }\\ \mathrm{\Delta }\mathit{\eta }\end{array}\right]\\ & +o(|\mathrm{\Delta }\mathit{\xi }{|}_{{\mathbb{R}}^s}^2+|\mathrm{\Delta }\mathit{\eta }{|}_{{\mathbb{R}}^r}^2).(1)\end{array}$$

再考虑约束上的无限小增量公式：

$$\begin{array}{rl}{f}^{\alpha }({\mathit{\xi }}_{\star }+\mathrm{\Delta }\mathit{\xi },{\mathit{\eta }}_{\star }+\mathrm{\Delta }\mathit{\eta })-f^{\alpha }({\mathit{\xi }}_{\star },{\mathit{\eta }}_{\star })& ={\left[\begin{array}{c}{\mathbf{\text{D}}}_{\mathit{\xi }}{f}^{\alpha },{\mathbf{\text{D}}}_{\mathit{\eta }}{f}^{\alpha }\end{array}\right]}_{\star }\left[\begin{array}{c}\mathrm{\Delta }\mathit{\xi }\\ \mathrm{\Delta }\mathit{\eta }\end{array}\right]\\ & +\frac{1}{2}\left[\begin{array}{c}(\mathrm{\Delta }\mathit{\xi }{)}^{\text{T}},(\mathrm{\Delta }\mathit{\eta }{)}^{\text{T}}\end{array}\right]\left[\begin{array}{cc}{\mathbf{\text{D}}}_{\mathit{\xi }}{\mathbf{\text{D}}}_{\mathit{\xi }}{f}^{\alpha }& {\mathbf{\text{D}}}_{\mathit{\xi }}{\mathbf{\text{D}}}_{\mathit{\eta }}{f}^{\alpha }\\ {\mathbf{\text{D}}}_{\mathit{\eta }}{\mathbf{\text{D}}}_{\mathit{\xi }}{f}^{\alpha }& {\mathbf{\text{D}}}_{\mathit{\eta }}{\mathbf{\text{D}}}_{\mathit{\eta }}{f}^{\alpha }\end{array}\right]\left[\begin{array}{c}\mathrm{\Delta }\mathit{\xi }\\ \mathrm{\Delta }\mathit{\eta }\end{array}\right]\\ & +o(|\mathrm{\Delta }\mathit{\xi }{|}_{{\mathbb{R}}^s}^2+|\mathrm{\Delta }\mathit{\eta }{|}_{{\mathbb{R}}^s}^2).(2)\end{array}$$

对于 $(2)$ 式左边，如果我们假设点 $({\mathit{\xi }}_{\star }+\mathrm{\Delta }\mathit{\xi },{\mathit{\eta }}_{\star }+\mathrm{\Delta }\mathit{\eta })$ 和 $({\mathit{\xi }}_{\star },{\mathit{\eta }}_{\star })$ 均在 $\mathrm{\Sigma }$ 上，则左边等于 $0$.

对 $(2)$ 式左右两边同时乘上 ${\lambda }_{\alpha }$，其中 $\alpha =1,2,\cdots ,r$，这 $r$ 个式子可统一为一个矩阵表达式，然后加到 $(1)$ 式上，可有：一阶项系数为

$$\begin{array}{rl}& \mathrm{\Delta }\mathit{\xi }:{\mathbf{\text{D}}}_{\mathit{\xi }}\theta +{\lambda }_{\alpha }{\mathbf{\text{D}}}_{\xi }{f}^{\alpha }={\mathbf{\text{D}}}_{\mathit{\xi }}\theta +{\mathbf{\Lambda }}^{\text{T}}{\mathbf{\text{D}}}_{\mathit{\xi }}\mathit{f},\\ & \mathrm{\Delta }\mathit{\eta }:{\mathbf{\text{D}}}_{\mathit{\eta }}\theta +{\lambda }_{\alpha }{\mathbf{\text{D}}}_{\mathit{\eta }}{f}^{\alpha }={\mathbf{\text{D}}}_{\mathit{\eta }}\theta +{\mathbf{\Lambda }}^{\text{T}}{\mathbf{\text{D}}}_{\mathit{\eta }}\mathit{f}.\end{array}$$

由题意，$({\mathit{\xi }}_{\star },{\mathit{\eta }}_{\star })$ 为临界点，故一阶项系数都为零。

由 $\mathrm{\Delta }\mathit{\eta }$ 的系数为零，得

$${\mathbf{\Lambda }}^{\text{T}}=-{\mathbf{\text{D}}}_{\mathit{\eta }}\theta \cdot ({\mathbf{\text{D}}}_{\mathit{\xi }}\mathit{f}{)}^{-1}.$$

代入到 $\mathrm{\Delta }\mathit{\xi }$ 的系数项中，有

$${\mathbf{\text{D}}}_{\mathit{\xi }}\theta -{\mathbf{\text{D}}}_{\mathit{\eta }}\theta \cdot ({\mathbf{\text{D}}}_{\mathit{\xi }}\mathit{f}{)}^{-1}\cdot {\mathbf{\text{D}}}_{\mathit{\xi }}\mathit{f}.$$

上式正好是临界点方程，自然为 $\mathbf{0}$.

接下来我们来处理二阶项

$$\frac{1}{2}\left[\begin{array}{c}(\mathrm{\Delta }\mathit{\xi }{)}^{\text{T}},(\mathrm{\Delta }\mathit{\eta }{)}^{\text{T}}\end{array}\right]\cdot {\mathit{H}}_L({\mathit{\xi }}_{\star },{\mathit{\eta }}_{\star })\cdot \left[\begin{array}{c}\mathrm{\Delta }\mathit{\xi }\\ \mathrm{\Delta }\mathit{\eta }\end{array}\right].$$

其中

$$L(\mathit{\xi },\mathit{\eta },\mathit{\lambda })=\theta (\mathit{\xi },\mathit{\eta })-{\mathbf{\Lambda }}^{\text{T}}\mathit{f}(\mathit{\xi },\mathit{\eta }).$$

由

$$\begin{array}{rl}\mathrm{\Delta }\mathit{\eta }& =\mathit{\eta }({\mathit{\xi }}_{\star }+\mathrm{\Delta }\mathit{\xi })-\mathit{\eta }({\mathit{\xi }}_{\star })\\ & =\mathbf{\text{D}}\mathit{\eta }({\mathit{\xi }}_{\star })\mathrm{\Delta }\mathit{\xi }+o(|\mathrm{\Delta }\mathit{\xi }{|}_{{\mathbb{R}}^s}).\end{array}$$

有

$$\left[\begin{array}{c}\mathrm{\Delta }\mathit{\xi }\\ \mathrm{\Delta }\mathit{\eta }\end{array}\right]=\left[\begin{array}{c}\mathrm{\Delta }\mathit{\xi }\\ \mathbf{\text{D}}\mathit{\eta }({\mathit{\xi }}_{\star })\mathrm{\Delta }\mathit{\xi }\end{array}\right]=\left[\begin{array}{c}{\mathit{I}}_s\\ \mathbf{\text{D}}\mathit{\eta }({\mathit{\xi }}_{\star })\end{array}\right]\mathrm{\Delta }\mathit{\xi }.$$

故二阶项为

$$\frac{1}{2}(\mathrm{\Delta }\mathit{\xi }{)}^{\text{T}}\left[\begin{array}{c}{\mathit{I}}_s,(\mathbf{\text{D}}\mathit{\eta }{)}^{\text{T}}({\mathit{\xi }}_{\star })\end{array}\right]{\mathit{H}}_L({\mathit{\xi }}_{\star },{\mathit{\eta }}_{\star })\left[\begin{array}{c}{\mathit{I}}_r\\ \mathbf{\text{D}}\mathit{\eta }({\mathit{\xi }}_{\star })\end{array}\right]\mathrm{\Delta }\mathit{\xi }.$$

显然这是一个二次型。假如其系数矩阵是正定矩阵，根据正定矩阵的性质，则 $({\mathit{\xi }}_{\star },{\mathit{\eta }}_{\star })$ 为极小值点；负定则为极大值点；不定矩阵则需要引入张量进行判别。