设 $u = f(\bm x)$ 在区域 $D$ 上有定义，$\bm x_0 \in D$，$\bm v = (\cos \theta_1, \cos \theta_2, \dots, \cos \theta_n)$ 为一方向，如果极限 $\lim_{t \to 0 + 0} \dfrac{f(\bm x_0 + t \bm v) - f(\bm x_0)}{t}$ 存在，则称为 $f(\bm x)$ 在 $\bm x_0$ 处沿 $\bm v$ 的方向导数，记为 $\dfrac{\partial f(\bm x_0)}{\partial \bm v}$。

一个二元函数在 $(x_0, y_0)$ 处的所有方向导数都存在也未必连续，例如 $f(x, y) = [y = x^2, x \ne 0]$ 在 $(0, 0)$ 处。

记 $\Delta \bm x = (\Delta x_1, \Delta x_2, \cdots, \Delta x_n)$，并称它为自变量的全增量。若存在仅依赖于 $\bm x_0$ 的常数 $A_i$，使得 $\Delta f(\bm x_0) = f(\bm x_0 + \Delta \bm x) - f(\bm x_0) = \sum_{i=1}^{n} A_i \Delta x_i + o(|\Delta \bm x|)$，则称 $f(\bm x)$ 在 $\bm x_0$ 处可微，并称 $\sum_{i=1}^{n} A_i \Delta x_i$ 为全微分，记为 $\mathrm{d} f(\bm x_0)$。

可微一定连续，且必然有 ${\rm d}f(\bm x_0) = \sum_{i=1}^{n} \dfrac{\partial f(\bm x_0)}{\partial x_i} {\rm d} x_i$。

定理：如果 $f(\bm x)$ 在 $U(\bm x_0, \delta_0)$ 存在各个偏导数，并且这些偏导数在 $\bm x_0$ 处连续，即 $f(\bm x) \in C^1(D)$，则 $f(\bm x)$ 在 $\bm x_0$ 处可微。

对 $n$ 归纳。$n=k$ 成立，当 $n=k+1$ 时，由一元函数拉格朗日中值定理，$f(\bm x_0 + \Delta \bm x) - f(x_1^0 + \Delta x_1, \cdots, x_k^0 + \Delta x_k, x_{k+1}^0) = \dfrac{\partial f(\bm x_0)}{\partial x_{k+1}}\Delta x_{k+1} + o(1) |\Delta x_{k+1}|$。
根据归纳假设，$f(x_1^0 + \Delta x_1, \cdots, x_k^0 + \Delta x_k, x_{k+1}^0) - f(\bm x_0) = \sum_{i=1}^{k} \dfrac{\partial f(\bm x_0)}{\partial x_i} \Delta x_i + o(1) \sqrt{\sum_{i=1}^{k}(|\Delta x_i|)^2}$。相加得到 $\Delta f(\bm x_0) = \sum_{i=1}^{k+1} \dfrac{\partial f(\bm x_0)}{\partial x_i} \Delta x_i + o(1) \sqrt{\sum_{i=1}^{k+1}(|\Delta x_i|)^2}$。

定理：如果 $f(\bm x_0)$ 可微，对于 $\bm v = (\cos \theta_1, \cdots, \cos \theta_n)$，它的方向导数为 $\dfrac{\partial f(\bm x_0)}{\partial \bm v} = \sum_{i=1}^{n} \dfrac{\partial f(\bm x_0)}{\partial x_i} \cos \theta_i$。

从上式看出，可微函数的方向导数最大的方向向量为 $\dfrac{1}{\sqrt{\sum_{i=1}^{n}(\dfrac{\partial f(\bm x_0)}{\partial x_i})^2}}(\dfrac{\partial f(\bm x_0)}{\partial x_1}, \dfrac{\partial f(\bm x_0)}{\partial x_2}, \cdots, \dfrac{\partial f(\bm x_0)}{\partial x_n})$，同时它的模就是方向导数的值。称 $(\dfrac{\partial f(\bm x_0)}{\partial x_1}, \dfrac{\partial f(\bm x_0)}{\partial x_2}, \cdots, \dfrac{\partial f(\bm x_0)}{\partial x_n})$ 为 $\bm x_0$ 处的梯度，记为 ${\bf grad} f(\bm x_0)$。所以 $\dfrac{\partial f(\bm x_0)}{\partial \bm v} = {\bf grad} f(\bm x_0) \cdot \bm v$。

后文所有向量默认为列向量

设向量函数 $\bm f(\bm x) = (f_1(\bm x), f_2(\bm x), \cdots, f_m(\bm x))^T$ 在区域 $D$ 上有定义，$\Delta \bm x = (\Delta x_1, \Delta x_2, \cdots, \Delta x_n)^T$ 为 $\bm x$ 在 $\bm x_0$ 处的全增量，如果存在只与 $\bm x_0$ 有关的 $m \times n$ 矩阵 $\bm A$ 使得 $|\Delta \bm x| \to 0$ 时，$\Delta \bm f(\bm x_0) = (\Delta f_1(\bm x_0), \Delta f_2(\bm x_0), \cdots, \Delta f_m(\bm x_0))^T = \bm A \Delta \bm x + \bm \alpha(|\Delta \bm x|)$，其中 $\bm \alpha(|\Delta \bm x|) = (\alpha_1(|\Delta \bm x|), \alpha_2(|\Delta \bm x|), \cdots, \alpha_m(|\Delta \bm x|))^T$，$\alpha_j$ 依赖 $\Delta \bm x$ 且 $\lim_{|\Delta \bm x|\to 0} \dfrac{\alpha_j(|\Delta \bm x|)}{|\Delta \bm x|} = 0$，则称 $\bm f(\bm x)$ 在 $\bm x_0$ 处可导/可微。$\bm A$ 称为 Frechet 导数，记作 $\bm f'(\bm x_0)$ 或者 $\text D\bm f(\bm x_0)$；$\bm A \Delta \bm x$ 称为全微分，记作 $\text d \bm f(\bm x_0)$，即 $\text d \bm f(\bm x_0) = \text D \bm f(\bm x_0) \Delta \bm x$。

定理：向量函数可微的充要条件是它包含的所有函数可微，此时 $$\bm f' (\bm x_0) = \begin{pmatrix} \dfrac{\partial f_1(\bm x_0)}{\partial x_1} & \dfrac{\partial f_1(\bm x_0)}{\partial x_2} & \cdots & \dfrac{\partial f_1(\bm x_0)}{\partial x_n} \\ \dfrac{\partial f_2(\bm x_0)}{\partial x_1} & \dfrac{\partial f_2(\bm x_0)}{\partial x_2} & \cdots & \dfrac{\partial f_2(\bm x_0)}{\partial x_n} \\ \vdots\\ \dfrac{\partial f_m(\bm x_0)}{\partial x_1} & \dfrac{\partial f_m(\bm x_0)}{\partial x_2} & \cdots & \dfrac{\partial f_m(\bm x_0)}{\partial x_n} \end{pmatrix}$$ 称为雅可比 Jacobi 矩阵，记为 $\bm J_{\bm f}(\bm x_0)$，特别的，如果是方阵，那么它的行列式称为雅可比行列式，记作 $\dfrac{\partial(f_1, f_2,\cdots, f_n)}{\partial(x_1, x_2, \cdots, x_n)}\Big| _{\bm x_0}$

如果 $f_j(\bm x)$ 的各个偏导数在区域 $D$ 上连续，我们称 $\bm f(\bm x)$ 在 $D$ 上是 $C^1$ 的，记作 $\bm f(\bm x) \in C^1(D)$。特别的，如果区域 $D$ 到 $\it \Omega$ 的变换 $\bm f(\bm x) \in C^1(D)$ 及 $\bm f^{-1} \in C^1(\it \Omega)$，则说这个变换是 $C^1$ 的。

如果 $f(\bm x) : \R^n \to \R$，$\bm g(\bm x) : \R^n \to \R^m$ 列向量函数，则 $(f(\bm x) \bm g(\bm x))' = f(\bm x) \bm g'(\bm x) + \bm g(\bm x) f'(\bm x)$。

$(f(\bm x) \bm g(\bm x))'(i; j) = \dfrac{\partial (f(\bm x) g_i(\bm x))}{\partial x_j} = f(\bm x) \dfrac{\partial g_i(\bm x)} {\partial x_j} + g_i(\bm x) \dfrac{\partial f(\bm x)} {\partial x_j} = f(\bm x) \bm g'(\bm x)(i; j) + \bm g(\bm x) f'(\bm x)(i; j)$

$f(\bm u)$ 在 $\bm u_0$ 处可微，$\bm u_0 = \bm u(\bm x_0)$ 在 $\bm x_0$ 处可微，则 $f(\bm u(\bm x))$ 在 $\bm x_0$ 处可微，且 $f'(\bm u(\bm x_0)) = f'(\bm u_0) \bm u'(\bm x_0)$。

$\Delta f(\bm u(\bm x)) = f'(\bm u_0) \Delta \bm u(\bm x) + \beta(|\Delta \bm u(\bm x)|) = f'(\bm u_0) (\bm u'(\bm x_0) \Delta \bm x + \bm \alpha(|\Delta \bm x|)) + \beta(|\Delta \bm u(\bm x)|)$
下面说明 $\lim_{|\Delta \bm x \to \bm 0|} \dfrac{f'(\bm u_0) \bm \alpha(|\Delta \bm x|) + \beta(|\bm u'(\bm x_0) \Delta \bm x + \bm \alpha(|\Delta \bm x|)|)}{|\Delta \bm x|} = 0$ 即可。前一半是显然的，后一半由于 $|\bm u'(\bm x_0) \Delta \bm x + \bm \alpha(|\Delta \bm x|)| \le ||\bm u'(\bm x_0)|| | \Delta \bm x| + |\Delta \bm x| \le |\Delta \bm x|(||\bm u'(\bm x_0)|| + 1) \to 0$，故同样也是 $0$。

推论：$\bm f, \bm u$ 均可微，$\text d \bm f(\bm u(\bm x)) = \bm f'(\bm u(\bm x)) \bm u'(\bm x) \text d \bm x$。

推论：$\bm y = \bm f(\bm x)$ 是 $D$ 到 $\it \Omega$ 的 $C^1$ 变换，则 $(\bm f^{-1})'(\bm y) = [\bm f'(\bm x)]^{-1}$，从而 $\dfrac{\partial(y_1, y_2,\cdots, y_n)}{\partial(x_1, x_2, \cdots, x_n)} \cdot \dfrac{\partial(x_1, x_2, \cdots, x_n)}{\partial(y_1, y_2,\cdots, y_n)} = 1$。

推论（链锁法则）：$f(\bm u)$ 在 $\bm u_0$ 处可微，$\bm u(\bm x) = (u_1(\bm x), u_2(\bm x), \cdots, u_m(\bm x))^T$ 在 $\bm x_0$ 处可微（可以减弱为存在各个偏导数），$\bm u_0 = \bm u(\bm x_0)$，则 $\dfrac{\partial f(\bm u(\bm x_0))}{\partial x_i} = \sum_{j=1}^{m} (\dfrac{\partial f(\bm u_0)}{\partial u_j} \cdot \dfrac{\partial u_j(\bm x_0)}{\partial x_i})$。

当 $\dfrac{\partial(\frac{\partial f(\bm x)}{\partial x_i})}{\partial x_k}$ 存在时，可以将其记为 $\dfrac{\partial^2 f(\bm x)}{\partial x_k \partial x_i}$ 或 $f''_{x_k x_i}(\bm x)$。

定理：对于 $j, k$，如果 $f_{jk}''(\bm x)$ 与 $f_{kj}''(\bm x)$ 在 $U(\bm x_0, \delta)$ 内存在，且在 $\bm x_0$ 处连续，则 $f_{jk}''(\bm x_0) = f_{jk}''(\bm x_0)$。

考虑 $I = \dfrac{f(x_0 + \Delta x, y_0 + \Delta y) - f(x_0 + \Delta x, y_0) - f(x_0, y_0 + \Delta y) + f(x_0, y_0)}{\Delta x\Delta y}$，一方面，$I = \dfrac{f'_x(x_0 + \theta\Delta x, y_0 + \Delta y) - f'_x(x_0 + \theta \Delta x, y_0)}{\Delta y} = f'_{yx}(x_0 + \theta\Delta x, y_0 + \mu \Delta y)$，另一方面可以写作 $f'_{xy}(x_0 + \theta'\Delta x, y_0 + \mu' \Delta y)$，由连续性得到相等。

对于高阶微分可以形式化的记 $\text d^k f(\bm x) = (\sum_{i=1}^{n} \text d x_i \dfrac{\partial}{\partial x_i})^k f(\bm x)$。

特别的，对于二元函数 $f(x, y)$，$\text d^k f(x, y) = \sum_{j=0}^k C_k^j \dfrac{\partial^k f(x, y)}{\partial x^{k-j} \partial y^j} \text d x^{k-j} \text d y^j$。

定理（拉格朗日余项泰勒公式）：设函数 $f(\bm x)$ 在 $U(\bm x_0, \delta_0)$ 内具有连续 $K+1$ 阶偏导数，则 $\forall \bm x_0 + \bm h \in U(\bm x_0, \delta_0)$，存在 $0 < \theta < 1$，$$f(\bm x_0 + \bm h) = f(\bm x_0) + \sum_{k=1}^{K} \dfrac{1}{k!} (\sum_{i=1}^{n} h_i \dfrac{\partial}{\partial x_i})^k f(\bm x_0) + \dfrac{1}{(K+1)!}(\sum_{i=1}^{n} h_i \dfrac{\partial}{\partial x_i})^{K+1} f(\bm x_0 + \theta \bm h)$$

构造 $\varphi(t) =f(\bm x_0 + t \bm h)$，则 $\varphi(t)$ 有 $K+1$ 阶连续导数，使用一元函数泰勒公式即可证明。

推论（皮亚诺余项泰勒公式）：$f(\bm x) \in C^K(U(\bm x_0, \delta_0))$，则 $$f(\bm x_0 + \bm h) = f(\bm x_0) + \sum_{k=1}^{K} \dfrac{1}{k!} (\sum_{i=1}^{n} h_i \dfrac{\partial}{\partial x_i})^k f(\bm x_0) + o(|\bm h|^K)$$

推论（拉格朗日微分中值定理）：$f(\bm x) \in C^1(D)$，则 $\forall t \in [0, 1]$，$\bm x_0 + t(\bm x - \bm x_0) \in D$，有 $$f(\bm x) - f(\bm x_0) = \sum_{i=1}^{n} \dfrac{\partial f(\bm x_0 + \theta(\bm x - \bm x_0))}{\partial x_i}(x_i - x_i^0) = f'(\bm x_0 + \theta (\bm x - \bm x_0)) (\bm x - \bm x_0)$$

海色 Hessi 矩阵：$$\bm H_f(\bm x_0) = \begin{pmatrix} \dfrac{\partial^2 f(\bm x_0)}{\partial x_1^2} & \dfrac{\partial^2 f(\bm x_0)}{\partial x_1 \partial x_2} & \cdots & \dfrac{\partial^2 f(\bm x_0)}{\partial x_1 \partial x_n}\\ \dfrac{\partial^2 f(\bm x_0)}{\partial x_2 \partial x_1} & \dfrac{\partial^2 f(\bm x_0)}{\partial x_2^2} & \cdots & \dfrac{\partial^2 f(\bm x_0)}{\partial x_2 \partial x_n} \\ \vdots \\ \dfrac{\partial^2 f(\bm x_0)}{\partial x_n \partial x_1} & \dfrac{\partial^2 f(\bm x_0)}{\partial x_n \partial x_2} & \cdots & \dfrac{\partial^2 f(\bm x_0)}{\partial x_n^2} \end{pmatrix}$$

在 Taylor 展式中令 $K = 1$，则有 $f(\bm x_0 + \bm h) = f(\bm x_0) + f'(\bm x_0) \bm h + \dfrac{1}{2} \bm h^T \bm H_f(\bm x_0) \bm h + o(|\bm h|^2)$。

隐函数存在定理：设二元函数 $F(x, y)$ 在 $U((x_0, y_0), \delta)$ 内满足：

1. $F(x_0, y_0) = 0$
2. $F(x, y), F'_y(x, y)$ 在 $U((x_0, y_0), \delta)$ 内连续。
3. $F_y'(x_0, y_0) \ne 0$

则存在 $0 < \delta_0 < \delta$，使得在 $U(x_0, \delta_0)$ 内存在唯一满足下述条件的连续函数 $y = f(x)$：

• $y_0 = f(x_0)$
• $F(x, f(x)) = 0$，$\forall x \in U(x_0, \delta_0)$
• 如果 $F'_x(x, y)$ 在 $U((x_0, y_0), \delta)$ 内连续，则 $f(x) \in C^1(U(x_0, \delta_0))$，且 $f'(x) = - \dfrac{F'_x(x, f(x))}{F'_y(x, f(x))}$。

不妨 $F'_y(x_0, y_0) > 0$，则存在 $\delta_0$，$\forall (x, y) \in U((x_0, y_0), \delta_0)$，有 $F'_y(x, y) > 0$。故 $F(x_0, y_0 - \delta_0) < 0, F(x_0, y_0 + \delta_0) > 0$，进而存在 $\delta_1 < \delta_0$，$\forall x \in U(x_0, \delta_1)$，$F(x, y_0 - \delta_0) < 0$，$F(x, y_0 + \delta_0) > 0$，故由单调性有唯一的 $F(x, f(x)) = 0$。
至于连续性，则由于 $\forall \varepsilon > 0$，对于 $\overline y = f(\overline x)$，有 $F(\overline x, \overline y - \varepsilon) < 0, F(\overline x, \overline y + \varepsilon) > 0$，故存在 $\delta$ 使得 $\forall x \in U(\overline x, \delta), F(x, \overline y - \varepsilon) < 0, F(x, \overline y + \varepsilon) > 0$，从而 $f(x) \in (\overline y - \varepsilon, \overline y + \varepsilon)$，也即 $|f(x) - f(\overline x)| < \varepsilon$。
如果 $x$ 的偏导数连续，那么设 $\Delta y = f(\overline x + \Delta x) - f(\overline x)$。由微分中值定理，$0 = F(\overline x + \Delta x, \overline y + \Delta y) - F(\overline x, \overline y) = F'_x(\overline x + \theta \Delta x, \overline y + \theta \Delta y) \Delta x + F'_y(\overline x + \theta \Delta x, \overline y + \theta \Delta y) \Delta y$，移项后令 $\Delta x \to 0$ 由连续性得证。

推广隐函数存在定理：设函数 $F(\bm x, y)$ 在 $U((\bm x_0, y_0), \delta)$ 内满足：

1. $F(\bm x_0, y_0) = 0$
2. $F(\bm x, y), F'_y(\bm x, y)$ 在 $U((\bm x_0, y_0), \delta)$ 内连续。
3. $F_y'(\bm x_0, y_0) \ne 0$

则存在 $0 < \delta_0 < \delta$，使得在 $U(\bm x_0, \delta_0)$ 内存在唯一满足下述条件的连续函数 $y = f(\bm x)$：

• $y_0 = f(\bm x_0)$
• $F(\bm x, f(\bm x)) = 0$，$\forall x \in U(\bm x_0, \delta_0)$
• 如果 $F(\bm x, y)$ 在 $U((x_0, y_0), \delta)$ 内存在各个连续偏导数，则 $f(\bm x) \in C^1(U(x_0, \delta_0))$，且 $\dfrac{\partial f(\bm x)}{\partial x_i} = - \dfrac{F'_{x_i}(x, f(x))}{F'_y(x, f(x))}$。

隐函数组存在定理：设 $\bm F(\bm x, \bm u)$ 在 $U((\bm x_0, \bm u_0), \delta)$ 内有定义，且满足

1. $\bm F(\bm x_0, \bm u_0) = \bm 0$
2. $F_j(\bm x, \bm u)$ 及它的各个偏导数在 $U((\bm x_0, \bm u_0), \delta)$ 内连续。
3. $\dfrac{\partial (F_1, F_2, \cdots, F_m)}{\partial (u_1, u_2, \cdots, u_m)} \Big|_{(\bm x_0, \bm u_0)} \ne 0$

则存在 $0 < \delta_0 < \delta$，使得在 $U(\bm x_0, \delta_0)$ 内存在唯一满足下述条件的 $m$ 维 $n$ 元向量函数 $\bm f(\bm x)$：

• $\bm u_0 = \bm f(\bm x_0)$
• $\bm F(\bm x, \bm f(\bm x)) = \bm 0$，$\forall x \in U(\bm x_0, \delta_0)$
• $f_j(\bm x)$ 在 $U(\bm x_0, \delta_0)$ 内存在连续偏导数，$$\bm f'(\bm x) = - (\frac{\partial \bm F(\bm x, \bm u)}{\partial \bm x})^{-1} (\frac{\partial \bm F(\bm x, \bm u)}{\partial \bm u})$$

逆映射存在定理：设 $\bm y = \bm f(\bm x)$ 是区域 $D$ 到 $\it \Omega$ 的一个 $C^1$ 映射，并且在 $\bm x_0 \in D$ 处有 $\dfrac{\partial(f_1, f_2, \cdots, f_n)}{\partial (x_1, x_2, \cdots, x_n)} \Big|_{\bm x_0} \ne 0$，记 $\bm y_0 = f(\bm x_0)$，则存在 $U(\bm x_0, \delta_0) \sub D$，使得 $\bm y = \bm f(\bm x)$ 是 $U(\bm x_0, \delta_0)$ 到 $\bm f(U(\bm x_0, \delta_0))$ 的 $C^1$ 同胚映射。

记 $F_j(\bm x, \bm y) = y_j - f_j(\bm x)$，考虑 $\bm F(\bm x, \bm y) = \bm 0$ 设个方程组，各个子函数的各偏导数都连续，并且 $\dfrac{\partial (F_1, F_2, \cdots, F_n)}{\partial (x_1, x_2, \cdots, x_n)} \Big|_{(\bm x_0, \bm y_0)} = (-1)^n \dfrac{\partial (f_1, f_2, \cdots, f_n)}{\partial (x_1, x_2, \cdots, x_n)} \Big|_{\bm x_0} \ne 0$，因此存在隐函数 $\bm x = \bm g(\bm y)$，且有各个连续偏导数。

定理：设 $f(\bm x)$ 在 $\bm x_0$ 取极值且 $f(\bm x)$ 关于 $x_i$ 可偏导，则有 $\dfrac{\partial f(\bm x_0)}{\partial x_i} = 0$，特别的，若可微，则 $f'(\bm x_0) = \bm 0$。

$f'(\bm x_0) = 0$，则称 $\bm x_0$ 为 $f(\bm x)$ 的一个驻点/临界点，如果一个驻点不是极值点，则称为鞍点。

定理 $f(\bm x)$ 有二阶连续偏导数，$f'(\bm x_0) = 0$，设 $\bm H_f(\bm x_0)$ 为满秩矩阵，则

1. 正定 - 极小值
2. 负定 - 极大值
3. 不定 - 不取极值

由于 $\bm h^T \bm H_f(\bm x_0) \bm h$ 是 $\{ \bm h : |\bm h| = 1\}$ 上的一个连续函数，又由于这是一个紧集，故有最大值 $M$ 最小值 $m$。下面只证明正定，即 $m > 0$。
$f(\bm x) = f(\bm x_0) + f'(\bm x_0)(\bm x - \bm x_0) + \dfrac{1}{2}(\bm x - \bm x_0)^T \bm H_f(\bm x_0)(\bm x - \bm x_0) + o(|\bm x - \bm x_0|^2) > f(\bm x_0) + \dfrac{1}{2}\dfrac{(\bm x - \bm x_0)^T}{|\bm x - \bm x_0|} \bm H_f(\bm x_0)\dfrac{\bm x - \bm x_0}{|\bm x - \bm x_0|} |\bm x - \bm x_0|^2 + o(|\bm x - \bm x_0|^2) > f(\bm x_0) + \dfrac{m}{4}|\bm x - \bm x_0|^2$

定理：设函数 $f(\bm x), \bm \varphi(\bm x) = (\varphi_1(\bm x), \cdots, \varphi_m(\bm x))^T$ 在 $D \sub \R^n$ 有各个连续偏导数，$m < n$，$\bm x_0$ 为 $f(\bm x)$ 在约束条件 $\bm \varphi(\bm x) = \bm 0$ 下的极值点，$\bm \varphi'(\bm x_0)$ 的秩为 $m$，则存在 $\lambda_1, \lambda_2, \cdots, \lambda_m \in \R$，使得 $\bm x_0$ 处成立下述等式：$$\dfrac{\partial f(\bm x_0)}{\partial x_i} + \sum_{j=1}^{m} \lambda_j \dfrac{\partial \varphi_j(\bm x_0)}{\partial x_i} = 0 \qquad i = 1, 2, \cdots, n$$

证明 $n = 2, m = 1$ 的情况。$\varphi'(x_0, y_0) \ne \bm 0, \varphi(x_0, y_0) = 0$，因此不妨存在隐函数 $y = g(x)$（或者反过来），$x_0$ 是 $f(x, g(x))$ 的一个通常极值点，因此 $\dfrac{\partial f(x_0, y_0)}{\partial x} + \dfrac{\partial f(x_0, y_0)}{\partial y} g'(x_0) = 0$，结合 $g'(x_0) = - \dfrac{\varphi'_x(x_0, y_0)}{\varphi'_y(x_0, y_0)}$，原命题得证。

这种求极值点的必要条件的方法称为拉格朗日乘数法。

设曲线 $\it \Gamma$ 由连续映射 $\bm h(t)$，$t \in [\alpha, \beta]$ 所确定，且是单射，那么称为简单曲线。如果 $\bm h(\alpha) = \bm h(\beta)$ 且 $\bm h$ 在 $[\alpha, \beta)$ 是单射，那么称为简单闭曲线 / Jordan 曲线。

对于三维空间参数方程曲线 $x = x(t), y = y(t), z = z(t)$，曲线在 $\bm x(t_0)$ 处的切向量为 $\bm x'(t_0)$，法平面用向量内积记为 $\bm x'(t_0) \cdot (\bm x - \bm x(t_0)) = 0$。而对于由 $F_1(x, y, z) = F_2(x, y, z) = 0$ 确定的曲线方程，如果 $\bm F'(x_0, y_0, z_0)$ 的秩为 $2$，则由隐函数存在定理，在邻域内存在参数方程形式，故 $F_1$ 对 $t$ 求偏导得 $\dfrac{\partial F_1(\bm x_0)}{\partial x} x'(t_0) + \dfrac{\partial F_1(\bm x_0)}{\partial y} y'(t_0) + \dfrac{\partial F_1(\bm x_0)}{\partial z} z'(t_0) = 0$，对于 $F_2$ 同理，因此切向量与 $F_1'(\bm x_0) \times F_2'(\bm x_0) = A \bm i + B \bm j + C \bm k$ 平行，从而切向量为 $\dfrac{x - x_0}{A} = \dfrac{y - y_0}{B} = \dfrac{z - z_0}{C}$，而法平面为 $A(x - x_0) + B(y - y_0) + C(z - z_0) = 0$。

对于三维空间 $C^1$ 曲面 $F(x, y, z) = 0$，在 $(x_0, y_0, z_0)$ 处任取一条曲面上的光滑曲线 $(x(t), y(t), z(t))$，则 $\dfrac{\partial F_1(\bm x_0)}{\partial x} x'(t_0) + \dfrac{\partial F_1(\bm x_0)}{\partial y} y'(t_0) + \dfrac{\partial F_1(\bm x_0)}{\partial z} z'(t_0) = 0$，因此可以推出切面方程为 $\dfrac{\partial F_1(\bm x_0)}{\partial x} (x - x_0) + \dfrac{\partial F_1(\bm x_0)}{\partial y} (y - y_0) + \dfrac{\partial F_1(\bm x_0)}{\partial z} (z - z_0)=0$，于是直线 $\dfrac{x - x_0}{F'_x(\bm x_0)} = \dfrac{y - y_0}{F'_y(\bm x_0)} = \dfrac{z - z_0}{F'_z(\bm x_0)}$ 为法线方程。反之如果平面由参数方程 $x = x(u, v), y = y(u, v), z = z(u, v)$ 定义，对于平面上的曲线 $x = x(u_0, v), y = y(u_0, v), z = z(u_0, v)$，切向量为 $\dfrac{\partial(x_0, y_0, z_0)^T}{\partial u} = (x'_u(u_0, v_0), y'_u(u_0, v_0), z'_u(u_0, v_0))$，同理可知，法向量为 $\bm n = \dfrac{\partial(x_0, y_0, z_0)^T}{\partial u} \times \dfrac{\partial(x_0, y_0, z_0)^T}{\partial v} = A \bm i + B \bm j + C \bm k$，立刻得到法线方程和切平面方程。

设 $D$ 是一个凸域，$f(\bm x)$ 在 $D$ 内有定义，如果 $\forall \bm x_0, \bm x_1 \in D$，$\forall t \in (0, 1)$，有 $f(t \bm x_1 + (1 - t) \bm x_2) \le t f(\bm x_1) + (1 - t) f (\bm x_2)$，则称 $f$ 在 $D$ 内是凸函数，如果成立严格不等式则是严格凸函数。

定理：如果 $f(\bm x)$ 在 $D$ 内有二阶连续偏导数，则 $f$ 凸与下面两条均等价：

1. $\forall \bm x_0, \bm x$，成立 $f(\bm x) \ge f(\bm x_0) + f'(\bm x_0)(\bm x - \bm x_0)$。
2. $\forall \bm x_0$，$\bm H_f(\bm x_0)$ 半正定。

$f(\bm x_0 + t\Delta \bm x) = f(\bm x_0) + t f'(\bm x_0)\Delta \bm x + \dfrac{t^2}{2} \Delta \bm x^T \bm H_f(\bm x_0) \Delta\bm x + o(|t\Delta\bm x|^2) \qquad (*)$
由凸，$f(\bm x_0 + t\Delta \bm x) \le tf(\bm x_0 + \Delta \bm x)+ (1 - t) f(\bm x_0)$，带入 $(*)$ 的一阶形式则 1 得证。反过来，$t f(\bm x_1) + (1 - t) f(\bm x_2) \ge f(\bm x_0) + f'(\bm x_0)(t(\bm x_1 - \bm x_0) + (1 - t)(\bm x_2 - \bm x_0))$，令 $\bm x_0 = t \bm x_1 + (1 - t) \bm x_2$ 则得到凸的定义式。
把 1 和 $(*)$ 联立，令 $t \to 0$ 立刻得到 2。而 2 结合 $(*)$ 自然说明 1。