全局最优的充分必要条件
定理
设 f 为二次可微函数。如果 $\bar{x}$ 是局部最小值，则 $\bigtriangledown f\left ( \bar{x} \right )=0$ 且 Hessian 矩阵 $H\left ( \bar{x} \right )$是半正定的。
证明
设$d \in \mathbb{R}^n$。由于 f 在 $\bar{x}$ 处可两次微分。
所以，
$f\left ( \bar{x} +\lambda d\right )=f\left ( \bar{x} \right )+\lambda \bigtriangledown f\left ( \bar{x} \right )^T d+ \lambda^2d^TH\left ( \bar{x} \right )d+\lambda^2d^TH\left ( \bar{x} \right )d+$
$\lambda^2\左\| d \right \|^2\beta \left ( \bar{x}, \lambda d \right )$
但是 $\bigtriangledown f\left ( \bar{x} \right )=0$ 和 $\beta\left ( \bar{x}, \lambda d \right )\rightarrow 0$ 为 $\lambda \rightarrow 0$
$\Rightarrow f\left ( \bar{x} +\lambda d \right )-f\left ( \bar{x} \right )=\lambda ^2d^TH\left ( \bar{x} \right ) d$
由于 $\bar{x }$ 是局部最小值，因此存在 $\delta > 0$ 使得 $f\left ( x \right )\leq f\left ( \bar{x}+\lambda d \right ), \forall \lambda \in \left ( 0,\delta \right )$
定理
设 $f:S \rightarrow \mathbb{R}^n$ 其中 $S \subset \mathbb{R}^n$ 对 S 是二次可微的。如果 $\bigtriangledown f\left ( x\right )=0$ 且$H\left ( \bar{x} \right )$ 是半正定的，对于所有 $x \in S$，则 $\bar{x}$ 是全局最优解。
证明
由于 $H\left ( \bar{x} \right )$ 是半正定的，因此 f 是 S 上的凸函数。由于 f 在 $\bar{x}$ 处是可微且凸的
$\bigtriangledown f\left ( \bar{x} \right )^T \left ( x-\bar{x} \right ) \leq f\left (x\right )-f\left (\bar{x} \right ),\forall x \in S$
由于$\bigtriangledown f\left ( \bar{x} \right )=0, f\left ( x \right )\geq f\left ( \bar{x} \right )$
因此，$\bar{x}$ 是全局最优值。
定理
假设 $\bar{x} \in S$ 是问题 $f:S \rightarrow \mathbb{R}$ 的局部最优解，其中 S 是 $\mathbb{R}^n$ 的非空子集，并且S 是凸的。$min \:f\left ( x \right )$ 其中 $x \in S$。
然后：
$\bar{x}$ 是全局最优解。
如果 $\bar{x}$ 是严格局部最小值或 f 是严格凸函数，则 $\bar{x}$ 是唯一的全局最优解，也是强局部最小值。
证明
设 $\bar{x}$ 为该问题的另一个全局最优解，使得 $x \neq \bar{x}$ 和 $f\left ( \bar{x} \right )=f\left ( \hat{ x} \右)$
由于 $\hat{x},\bar{x} \in S$ 和 S 是凸的，因此 $\frac{\hat{x}+\bar{x}}{2} \in S$ 和 f 严格是凸的。
$\Rightarrow f\left ( \frac{\hat{x}+\bar{x}}{2} \right )< \frac{1}{2} f\left (\bar{x}\right )+ \frac{1}{2} f\left (\hat{x}\right )=f\left (\hat{x}\right )$
这是矛盾的。
因此，$\hat{x}$ 是唯一的全局最优解。
推论
设 $f:S \subset \mathbb{R}^n \rightarrow \mathbb{R}$ 为可微凸函数，其中 $\phi \neq S\subset \mathbb{R}^n$ 为凸集。考虑问题 $min f\left (x\right ),x \in S$，那么 $\bar{x}$ 是一个最优解，如果 $\bigtriangledown f\left (\bar{x}\right )^T \left (x-\bar{x}\right ) \geq 0,\forall x \in S.$
证明
设$\bar{x}$为最优解，即$f\left (\bar{x}\right )\leq f\left (x\right ),\forall x \in S$
$\Rightarrow f\left (x\right )=f\left (\bar{x}\right )\geq 0$
$f\left (x\right )=f\left (\bar{x}\right )+\bigtriangledown f\left (\bar{x}\right )^T\left (x-\bar{x}\右)+\左\| x-\bar{x} \right \|\alpha \left ( \bar{x},x-\bar{x} \right )$
其中 $\alpha \left ( \bar{x},x-\bar{x} \right )\rightarrow 0$ 为 $x \rightarrow \bar{x}$
$\Rightarrow f\left (x\right )-f\left (\bar{x}\right )=\bigtriangledown f\left (\bar{x}\right )^T\left (x-\bar{x }\右)\geq 0$
推论
设f是$\bar{x}$处的可微凸函数，则$\bar{x}$是全局最小值当且仅当$\bigtriangledown f\left (\bar{x}\right )=0$
例子
$f\left (x\right )=\left (x^2-1\right )^{3}, x \in \mathbb{R}$。
$\bigtriangledown f\left (x\right )=0 \Rightarrow x= -1,0,1$。
$\bigtriangledown^2f\left (\pm 1 \right )=0, \bigtriangledown^2 f\left (0 \right )=6>0$。
$f\left (\pm 1 \right )=0,f\left (0 \right )=-1$
因此， $f\left (x \right ) \geq -1=f\left (0 \right )\Rightarrow f\left (0 \right ) \leq f \left (x \right)\forall x \in \ mathbb{R}$
$f\left (x \right )=x\log x$ 定义在 $S=\left \{ x \in \mathbb{R}, x> 0 \right \}$ 上。
${f}'x=1+\log x$
${f}''x=\frac{1}{x}>0$
因此，该函数是严格凸的。
$f \left (x \right )=e^{x},x \in \mathbb{R}$ 是严格凸的。