07_内积空间

一、内积空间的定义与基本性质

为了在一般的抽象向量空间中引入“长度”、“角度”和“垂直”等几何概念，我们需要在空间上定义一种特殊的二元函数，即内积。

1. 内积的公理化定义

设 $V$ 是实数域 $\mathbb{R}$ 或复数域 $\mathbb{C}$ 上的向量空间（统一记为 $\mathbb{F}$）。

如果存在一个映射 $\langle \cdot, \cdot \rangle : V \times V \to \mathbb{F}$，将每一对向量 $(u, v)$ 映射为一个标量 $\langle u, v \rangle$，且满足以下四条公理，则称该映射为 $V$ 上的一个内积：

正定性：

对于 $\forall v \in V$，有 $\langle v, v \rangle \ge 0$。

且 $\langle v, v \rangle = 0 \iff v = 0$。

第一位置加性：

对于 $\forall u_1, u_2, v \in V$，有 $\langle u_1 + u_2, v \rangle = \langle u_1, v \rangle + \langle u_2, v \rangle$。

第一位置齐次性：

对于 $\forall u, v \in V$ 和 $\forall k \in \mathbb{F}$，有 $\langle ku, v \rangle = k \langle u, v \rangle$。

共轭对称性：

对于 $\forall u, v \in V$，有 $\langle u, v \rangle = \overline{\langle v, u \rangle}$。（注：在实数域 $\mathbb{R}$ 中，复轭等同于自身，即 $\langle u, v \rangle = \langle v, u \rangle$）。

内积空间：装备了内积的向量空间称为内积空间。

2. 内积的衍生性质

利用内积的公理，可以直接推导出以下重要性质：

第二位置的共轭线性：
- 第二位置加性：$\langle u, v + w \rangle = \langle u, v \rangle + \langle u, w \rangle$
  
  证明：$\langle u, v + w \rangle = \overline{\langle v + w, u \rangle} = \overline{\langle v, u \rangle + \langle w, u \rangle} = \overline{\langle v, u \rangle} + \overline{\langle w, u \rangle} = \langle u, v \rangle + \langle u, w \rangle$。
- 第二位置共轭齐次性：$\langle u, \lambda v \rangle = \bar{\lambda} \langle u, v \rangle$
  
  证明：$\langle u, \lambda v \rangle = \overline{\langle \lambda v, u \rangle} = \overline{\lambda \langle v, u \rangle} = \bar{\lambda} \overline{\langle v, u \rangle} = \bar{\lambda} \langle u, v \rangle$。
零向量的内积：对任意 $u \in V$，有 $\langle 0, u \rangle = \langle u, 0 \rangle = 0$。

3. 经典内积实例

$\mathbb{R}^n$ 中的标准内积：

$\langle x, y \rangle = \sum_{i=1}^n x_i y_i = (x_1, \dots, x_n) \begin{pmatrix} y_1 \\ \vdots \\ y_n \end{pmatrix}$。
$\mathbb{C}^n$ 中的标准内积：

$\langle x, y \rangle = \sum_{i=1}^n x_i \overline{y_i} = (x_1, \dots, x_n) \begin{pmatrix} \overline{y_1} \\ \vdots \\ \overline{y_n} \end{pmatrix}$。
函数空间中的内积：

在区间 $[a, b]$ 上的连续函数空间中，$\langle f, g \rangle = \int_a^b f(x)g(x) dx$。（如果带权重函数 $e^{-x}$，如 $\int_0^\infty p(x)q(x)e^{-x} dx$，同样构成内积）。

二、范数与正交性

借助内积，我们可以精确定义向量的“长度”（范数）以及两个向量的“垂直”（正交）。

1. 范数

定义：在内积空间 $V$ 中，向量 $v$ 的范数（长度）定义为：

\[ \|v\| := \sqrt{\langle v, v \rangle} \]

基本性质：

非负性：$\|v\| \ge 0$，且 $\|v\| = 0 \iff v = 0$。
齐次性：$\|\lambda v\| = |\lambda| \|v\|$。

证明：$\|\lambda v\| = \sqrt{\langle \lambda v, \lambda v \rangle} = \sqrt{\lambda \bar{\lambda} \langle v, v \rangle} = \sqrt{|\lambda|^2 \|v\|^2} = |\lambda| \|v\|$。

范数的展开公式：

对于任意 $u, v \in V$，对和的范数平方进行展开：

\[ \begin{aligned} \|u+v\|^2 &= \langle u+v, u+v \rangle \\ &= \langle u, u \rangle + \langle u, v \rangle + \langle v, u \rangle + \langle v, v \rangle \\ &= \|u\|^2 + \|v\|^2 + \langle u, v \rangle + \overline{\langle u, v \rangle} \\ &= \|u\|^2 + \|v\|^2 + 2\text{Re}\langle u, v \rangle \end{aligned} \]

（其中 $\text{Re}\langle u, v \rangle$ 表示内积的实部）。

2. 正交

定义：设 $u, v \in V$，如果 $\langle u, v \rangle = 0$，则称 $u$ 与 $v$ 是 正交（垂直） 的，记作 $u \perp v$。

基本性质：

零向量与任何向量正交：$\langle 0, u \rangle = 0 \implies 0 \perp u$。
对称性：由于 $\langle u, v \rangle = 0 \implies \langle v, u \rangle = \overline{0} = 0$，故 $u \perp v \iff v \perp u$。

勾股定理：

如果 $u \perp v$（即 $\langle u, v \rangle = 0 \implies \text{Re}\langle u, v \rangle = 0$），代入上述展开公式，直接得到：

\[ \|u+v\|^2 = \|u\|^2 + \|v\|^2 \]

三、柯西-施瓦茨不等式与三角不等式

1. 正交分解

在内积空间中，任意向量都可以相对于另一个非零向量进行正交分解。

设 $u, v \in V$ 且 $v \neq 0$。我们希望将 $u$ 分解为两部分：一部分平行于 $v$，一部分垂直于 $v$。

设 $u = cv + w$，其中 $w \perp v$。

两边同乘（内积）$v$：

\[ \langle u, v \rangle = \langle cv + w, v \rangle = c\langle v, v \rangle + \langle w, v \rangle \]

因为 $w \perp v$，所以 $\langle w, v \rangle = 0$。由此解得投影系数：

\[ c = \frac{\langle u, v \rangle}{\|v\|^2} \]

这就给出了正交分解公式：$u = \frac{\langle u, v \rangle}{\|v\|^2} v + w$ （其中 $w = u - \frac{\langle u, v \rangle}{\|v\|^2} v$ 必然垂直于 $v$）。

2. 柯西-施瓦茨不等式

定理：对于内积空间中的任意 $u, v \in V$，均有：

\[ |\langle u, v \rangle| \le \|u\| \|v\| \]

等号成立当且仅当 $u, v$ 线性相关（即其中一个是另一个的标量倍）。

证明：

若 $v = 0$，不等式两边皆为 0，显然成立且线性相关。

若 $v \neq 0$，利用上述正交分解，将 $u$ 分解为 $u = cv + w$，且 $cv \perp w$。

应用勾股定理：

\[ \|u\|^2 = \|cv\|^2 + \|w\|^2 = |c|^2 \|v\|^2 + \|w\|^2 \]

将 $c = \frac{\langle u, v \rangle}{\|v\|^2}$ 代入：

\[ \|u\|^2 = \left| \frac{\langle u, v \rangle}{\|v\|^2} \right|^2 \|v\|^2 + \|w\|^2 = \frac{|\langle u, v \rangle|^2}{\|v\|^2} + \|w\|^2 \]

因为 $\|w\|^2 \ge 0$，故有：

\[ \|u\|^2 \ge \frac{|\langle u, v \rangle|^2}{\|v\|^2} \implies \|u\|^2 \|v\|^2 \ge |\langle u, v \rangle|^2 \]

两边开平方即得结论。当且仅当 $\|w\|^2 = 0$ 即 $w = 0$ 时等号成立，此时 $u = cv$，两向量线性相关。

3. 三角不等式

定理：对于任意 $u, v \in V$，有 $\|u+v\| \le \|u\| + \|v\|$。

证明：

\[ \begin{aligned} \|u+v\|^2 &= \|u\|^2 + \|v\|^2 + 2\text{Re}\langle u, v \rangle \\ &\le \|u\|^2 + \|v\|^2 + 2|\langle u, v \rangle| \quad (\text{实部总是小于等于模长}) \\ &\le \|u\|^2 + \|v\|^2 + 2\|u\|\|v\| \quad (\text{应用柯西-施瓦茨不等式}) \\ &= (\|u\| + \|v\|)^2 \end{aligned} \]

两边开平方即可证得。

四、规范正交基

1. 定义

定义：设 $e_1, e_2, \dots, e_n$ 是内积空间 $V$ 的一组基。如果它们两两正交且范数均为 1，即满足克罗内克 $\delta$ 条件：

\[ \langle e_i, e_j \rangle = \delta_{ij} = \begin{cases} 1, & i = j \\ 0, & i \neq j \end{cases} \]

则称这组基为 $V$ 的规范正交基（Orthonormal Basis，简称 ONB）。

2. 正交向量组的线性无关性

定理：如果 $\alpha_1, \dots, \alpha_n$ 是一组非零且两两正交的向量，则它们必定是线性无关的。

证明：

假设存在标量 $k_1, \dots, k_n$ 使得 $\sum_{i=1}^n k_i \alpha_i = 0$。

选取任意 $j \in \{1, \dots, n\}$，用 $\alpha_j$ 对等式两边取内积：

\[ 0 = \langle 0, \alpha_j \rangle = \left\langle \sum_{i=1}^n k_i \alpha_i, \alpha_j \right\rangle = \sum_{i=1}^n k_i \langle \alpha_i, \alpha_j \rangle \]

由于向量两两正交，当 $i \neq j$ 时 $\langle \alpha_i, \alpha_j \rangle = 0$。所以总和中只有第 $j$ 项保留：

\[ 0 = k_j \langle \alpha_j, \alpha_j \rangle \]

因为 $\alpha_j \neq 0$，其内积 $\langle \alpha_j, \alpha_j \rangle \neq 0$。故必定有 $k_j = 0$。

由于此逻辑对所有 $j$ 成立，故系数只能全为 0，向量组线性无关。

3. 规范正交基下的优越性

拥有规范正交基后，空间中的几何计算变得极其简单（等同于标准的 $\mathbb{C}^n$ 计算）。

坐标（傅里叶系数）提取：

若 $e_1, \dots, e_n$ 为规范正交基，空间中任意向量 $\alpha$ 可唯一表示为 $\alpha = \sum_{i=1}^n x_i e_i$。

两边与 $e_j$ 取内积：$\langle \alpha, e_j \rangle = \left\langle \sum_{i=1}^n x_i e_i, e_j \right\rangle = \sum_{i=1}^n x_i \langle e_i, e_j \rangle = x_j$。

即分量坐标就等于该向量与对应基向量的内积：$x_i = \langle \alpha, e_i \rangle$。
广义勾股定理（帕塞瓦尔恒等式）：

若 $\alpha = \sum_{i=1}^n a_i e_i$，则其范数平方为坐标模长平方之和：

\[ \|\alpha\|^2 = \left\langle \sum_{i=1}^n a_i e_i, \sum_{j=1}^n a_j e_j \right\rangle = \sum_{i=1}^n \sum_{j=1}^n a_i \overline{a_j} \langle e_i, e_j \rangle = \sum_{i=1}^n a_i \overline{a_i} = \sum_{i=1}^n |a_i|^2 \]

同样，两向量的内积也可直接由坐标相乘得到：$\langle \sum a_i e_i, \sum b_j e_j \rangle = \sum_{i=1}^n a_i \overline{b_i}$。

4. 施密特（Gram-Schmidt）正交化过程

在内积空间中，若已知一组普通的基 $\alpha_1, \alpha_2, \dots, \alpha_n$，我们可以通过施密特正交化过程将其转化为一组规范正交基 $e_1, e_2, \dots, e_n$，且满足对于任意 $k$ ($1 \le k \le n$)，均有空间的等价张成：

\[ \text{span}(\alpha_1, \dots, \alpha_k) = \text{span}(e_1, \dots, e_k) \]

构造步骤：

初始步 ($i=1$)：
```
直接对 $\alpha_1$ 进行单位化：

$$
```
e_1 = \frac{\alpha_1}{|\alpha_1|} $$

递推步：

假设已构造出前 $k$ 个规范正交向量 $e_1, \dots, e_k$。

对于 $\alpha_{k+1}$，我们先减去它在子空间 $U_k = \text{span}(e_1, \dots, e_k)$ 上的投影，得到与 $U_k$ 正交的部分 $w_{k+1}$：

$$

w_{k+1} = \alpha_{k+1} - \sum_{i=1}^k \langle \alpha_{k+1}, e_i \rangle e_i $$

然后再将 $w_{k+1}$ 单位化：

$$

e_{k+1} = \frac{w_{k+1}}{|w_{k+1}|} $$

重复上述步骤直至 $i=n$。

经典实例：在多项式空间 $\mathscr{P}_2(\mathbb{R})$ 中，定义内积 $\langle p, q \rangle = \int_{-1}^1 p(x)q(x)dx$。取标准基 $\alpha_1=1, \alpha_2=x, \alpha_3=x^2$，通过施密特正交化可得：

$e_1 = \frac{1}{\|1\|} = \frac{1}{\sqrt{\int_{-1}^1 1 dx}} = \frac{1}{\sqrt{2}}$
$\alpha_2 = x$ 与 $e_1$ 已正交（内积为0），故直接单位化：$e_2 = \frac{x}{\|x\|} = \sqrt{\frac{3}{2}} x$
对 $\alpha_3 = x^2$：计算其在 $e_1, e_2$ 方向的分量，最终单位化得到 $e_3 = \sqrt{\frac{45}{8}}\left(x^2 - \frac{1}{3}\right)$（即勒让德多项式的规范化形式）。

5. 规范正交基的推论

规范正交基的扩充：若 $e_1, \dots, e_m$ 是有限维内积空间 $V$ 中的一组规范正交向量，则必定存在向量 $f_1, \dots, f_r \in V$，使得 $e_1, \dots, e_m, f_1, \dots, f_r$ 构成 $V$ 的一组完整规范正交基。
舒尔定理（Schur's Theorem/上三角化）：设 $T \in \mathcal{L}(V)$ 且 $\dim V = n$，则必然存在 $V$ 的一组规范正交基 $e_1, \dots, e_n$，使得线性变换 $T$ 在该基下的矩阵表示为上三角矩阵。

(注：该定理的核心在于利用施密特正交化保持不变子空间的张成关系。)

五、正交补与正交投影

1. 正交补的定义与性质

定义：设 $U$ 是内积空间 $V$ 的子空间。$V$ 中所有与 $U$ 中每一个向量都正交的向量所组成的集合，称为 $U$ 的正交补（Orthogonal Complement），记作 $U^\perp$。

\[ U^\perp = \{v \in V \mid \langle v, u \rangle = 0, \forall u \in U\} \]

（由规范正交基性质易知：若 $e_1, \dots, e_m$ 是 $U$ 的基，则 $v \in U^\perp \iff \langle v, e_i \rangle = 0, 1 \le i \le m$）。

基本性质：

$U^\perp$ 也是 $V$ 的一个子空间。
极端情况：$\{0\}^\perp = V$ 且 $V^\perp = \{0\}$。
零交集：$U \cap U^\perp = \{0\}$。（因为若 $v \in U \cap U^\perp$，则 $\langle v, v \rangle = 0 \implies v = 0$）。
包含关系逆转：若 $U \subseteq W$，则 $W^\perp \subseteq U^\perp$。

2. 空间的正交直和分解

定理：如果 $U$ 是有限维内积空间 $V$ 的子空间，则 $V$ 可以分解为 $U$ 与其正交补的直和：

\[ V = U \oplus U^\perp \]

推论：

维度公式：当 $\dim V < \infty$ 时，有 $\dim V = \dim U + \dim U^\perp$。
双重正交补：通常有 $U \subseteq (U^\perp)^\perp$；在有限维空间中，必然有 $(U^\perp)^\perp = U$。

3. 正交投影算子

根据直和分解 $V = U \oplus U^\perp$，空间中任意向量 $v \in V$ 可唯一分解为 $v = u + w$，其中 $u \in U$ 且 $w \in U^\perp$。

定义：称上述分解中的 $u$ 为 $v$ 在子空间 $U$ 上的正交投影，记为映射 $P_U(v) = u$。

正交投影算子 $P_U$ 的核心性质：

线性：$P_U$ 是 $V \to U$ 的线性映射。
零空间与值域：$\text{range}(P_U) = U$，$\text{null}(P_U) = U^\perp$。
正交残差：对任意 $v \in V$，残差向量必与子空间正交，即 $v - P_U(v) \in U^\perp$。
幂等性：$P_U^2 = P_U$。（即对已经处于 $U$ 中的向量再次投影，结果为其自身）。
范数收缩：$\|P_U(v)\| \le \|v\|$。（由勾股定理 $\|v\|^2 = \|P_U(v)\|^2 + \|w\|^2$ 直接得出）。

计算公式：若 $e_1, \dots, e_m$ 是 $U$ 的一组规范正交基，则正交投影可直接通过内积计算：

\[ P_U(v) = \sum_{i=1}^m \langle v, e_i \rangle e_i \]

六、最佳逼近定理

正交投影在数学上的一个核心应用在于解决“最小距离”问题。

定理（最佳逼近）：设 $U$ 是 $V$ 的子空间，$v \in V$。在 $U$ 的所有向量中，$v$ 的正交投影 $P_U(v)$ 是距离 $v$ 最近的向量。即对于任意 $u \in U$，恒有：

\[ \|v - P_U(v)\| \le \|v - u\| \]

等号成立当且仅当 $u = P_U(v)$。

证明：

\[ \begin{aligned} \|v - u\|^2 &= \|(v - P_U(v)) + (P_U(v) - u)\|^2 \end{aligned} \]

因为 $(v - P_U(v)) \in U^\perp$，且 $(P_U(v) - u) \in U$，两者相互正交。应用勾股定理得：

\[ \begin{aligned} \|v - u\|^2 &= \|v - P_U(v)\|^2 + \|P_U(v) - u\|^2 \\ &\ge \|v - P_U(v)\|^2 \end{aligned} \]

显然只有当 $\|P_U(v) - u\|^2 = 0$ 即 $u = P_U(v)$ 时，距离最小。

应用场景：求空间点到平面的最短距离，或在函数空间中寻找某一复杂函数的最佳多项式逼近（如求解使得积分误差 $\int_{-\pi}^\pi |\sin x - p(x)|^2 dx$ 最小的多项式 $p(x)$）。

七、里斯表示定理

在有限维内积空间中，线性泛函（即 $V \to \mathbb{F}$ 的线性映射）可以通过内积的形式完美表示。

定理（里斯表示定理）：

设 $V$ 是有限维内积空间，对于 $V$ 上的任意一个线性泛函 $\varphi \in V'$，存在唯一的一个向量 $u \in V$，使得对于所有的 $v \in V$，均有：

\[ \varphi(v) = \langle v, u \rangle \]

构造性证明：

设 $e_1, \dots, e_n$ 为 $V$ 的一组规范正交基。任取 $v \in V$，可展开为 $v = \sum_{i=1}^n \langle v, e_i \rangle e_i$。

将其代入线性泛函 $\varphi$ 中：

\[ \varphi(v) = \varphi\left(\sum_{i=1}^n \langle v, e_i \rangle e_i\right) = \sum_{i=1}^n \langle v, e_i \rangle \varphi(e_i) \]

利用内积对第二位置的共轭性质，将常数 $\varphi(e_i)$ 移入内积的第二位置：

\[ \varphi(v) = \left\langle v, \sum_{i=1}^n \overline{\varphi(e_i)} e_i \right\rangle \]

令 $u = \sum_{i=1}^n \overline{\varphi(e_i)} e_i$，则 $u$ 即为所求。

唯一性证明：

假设存在 $u_1, u_2 \in V$ 均满足条件，则对任意 $v \in V$：

\[ \langle v, u_1 \rangle = \langle v, u_2 \rangle \implies \langle v, u_1 - u_2 \rangle = 0 \]

取 $v = u_1 - u_2$，可得 $\langle u_1 - u_2, u_1 - u_2 \rangle = 0$，由正定性知 $u_1 - u_2 = 0$，即 $u_1 = u_2$。

07_内积空间

一、 内积空间的定义与基本性质

1. 内积的公理化定义

2. 内积的衍生性质

3. 经典内积实例

二、 范数与正交性

1. 范数

2. 正交

三、 柯西-施瓦茨不等式与三角不等式

1. 正交分解

2. 柯西-施瓦茨不等式

3. 三角不等式

四、 规范正交基

1. 定义

2. 正交向量组的线性无关性

3. 规范正交基下的优越性

4. 施密特（Gram-Schmidt）正交化过程

5. 规范正交基的推论

五、 正交补与正交投影

1. 正交补的定义与性质

2. 空间的正交直和分解

3. 正交投影算子

六、 最佳逼近定理

七、 里斯表示定理

一、内积空间的定义与基本性质

二、范数与正交性

三、柯西-施瓦茨不等式与三角不等式

四、规范正交基

五、正交补与正交投影

六、最佳逼近定理

七、里斯表示定理