Lec 14 · 正交向量与正交子空间

摘要

Lec 14、15、16 是线性代数从“认识结构”转向“实际计算”和“几何理解”的关键转折点。

Strang 教授的思路非常清晰：先建立正交性的语言和几何图像，然后在这个框架下，给出投影这个核心工具，最后立刻把它用到最重要的应用——最小二乘法上。这三讲一气呵成，形成一种“层层递进”的压迫感，同时也是一种美感。

• Lec14: 正交向量与子空间 (Orthogonal vectors and subspaces)，包括正交补、矩阵四个基本子空间的正交关系，以及投影的几何动机。
• Lec15: 投影到子空间 (Projections onto subspaces)，投影矩阵，最小二乘法的思想。
• Lec16: 投影矩阵与最小二乘 (Projection matrices and least squares)，用投影解决 Ax=b 无解的情况，正规方程。

1. 回到最基础：两个向量正交

我们早就知道 $x \cdot y = 0$ 意味着两个向量垂直。但 Strang 在这里会特意强调一个更代数的视角：正交就是点积为零。这不仅仅发生在 $\mathbb{R}^2$ 或 $\mathbb{R}^3$ 里的直角，在高维空间，甚至函数空间里，只要定义了合适的内积，方程 $x^Ty = 0$ 就是“垂直”。

为什么重新强调这个？ 因为他马上要讨论子空间，而子空间的正交性要基于向量的正交性来定义。

2. 正交子空间：关键定义

两个子空间 $V$ 和 $W$ 正交，是指：$V$ 中的每一个向量，与 $W$ 中的每一个向量都正交。

这里有一个极常见的误区，Strang 专门指出：

• 两个平面在 $\mathbb{R}^3$ 中，如果它们像地板和一面墙的交线那样“垂直”，它们并不是正交子空间。
• 原因：交线上的向量同时属于两个平面，但非零向量不可能与自己正交（除非它是零向量）。所以两个平面若有非零的交集，绝不可能正交。实际上，在 $\mathbb{R}^3$ 中，正交子空间的维数加起来不能超过 3。典型例子：一条直线与一个平面正交，或者一条直线与另一条直线正交。

这个概念要焊死在脑子里：正交子空间必须满足“任意向量与任意向量正交”，而不仅仅是看起来像直角相交。

3. 四个基本子空间的正交关系

对于任意 $m \times n$ 矩阵 $A$，四个基本子空间中有两组正交关系：

$$\text{行空间 } C(A^T) \perp \text{零空间 } N(A)$$ $$\text{列空间 } C(A) \perp \text{左零空间 } N(A^T)$$

而且，它们不仅仅是正交子空间，还是正交补。也就是说：

• 行空间和零空间互为正交补，它们把整个 $\mathbb{R}^n$ 一分为二。
• 列空间和左零空间互为正交补，它们把整个 $\mathbb{R}^m$ 一分为二。

为什么这是对的？ 零空间的方程 $Ax = 0$ 告诉我们，$x$ 与 $A$ 的每一行点积为零。而每一行张成行空间，所以 $x$ 与行空间中所有向量正交。这就是 $N(A) \perp C(A^T)$。接着数一下维数：$\dim C(A^T) = r$，$\dim N(A) = n - r$，加起来正好是 $n$。因此它们是正交补，任何一个 $\mathbb{R}^n$ 中的向量都可以唯一地分解成行空间分量 + 零空间分量。

左零空间同理，从 $A^T y = 0$ 出发，得到它与列空间正交，且维数和为 $m$。

4. 如何把矩阵和正交补联系起来？

Strang 在讲完这组正交关系后，总结了矩阵 $A$ 的几何作用。

• 行空间和零空间是 $\mathbb{R}^n$ 的正交补。
• 矩阵 $A$ 乘以行空间中的向量，会一一映射到列空间；乘以零空间中的向量，则归零。
• 同时，左零空间的所有向量被 $A^T$ 送到零。

这样一来，线性变换 $x \mapsto Ax$ 就不只是代数操作，而是一幅清晰的几何图景：整个定义域被正交分解为“有用部分（行空间）”和“无用部分（零空间）”，值域那边也被分解为“能达到的部分（列空间）”和“达不到的部分（左零空间）”。

这个视角会直接帮助我们理解最小二乘：当 $b$ 不在列空间时，我们就要把 $b$ 投影到列空间，而误差向量恰恰落在左零空间中。

完成

小结

• 正交子空间的定义和常见误解。
• 四个基本子空间的正交补结构。
• 任何一个向量可被分解为两个正交子空间的分量。

Lec14 结束时，Strang 留下一个问题：“如果我们想找到 $b$ 在某个子空间里的‘最佳近似’，我们该怎么做？” 答案就在下一讲：求出投影，使得误差正交于该子空间。

几个疑问的补充

我对四个子空间的理解有点遗漏，在这里补充一下

1. 先复习四个子空间

我们得把位置关系刻在脑海里：

• 定义域 $\mathbb{R}^n$ 里有两个子空间：

  • 行空间 $C(A^T)$，维数 $r$。
  • 零空间 $N(A)$，维数 $n - r$。
  • 它们互为正交补，把 $\mathbb{R}^n$ 完美地一分为二。

• 值域 $\mathbb{R}^m$ 里也有两个子空间：

  • 列空间 $C(A)$，维数 $r$。
  • 左零空间 $N(A^T)$，维数 $m - r$。
  • 它们也互为正交补，把 $\mathbb{R}^m$ 完美地一分为二。

这就是 Strang 心中那幅图的两个“房间”，左房间是 $\mathbb{R}^n$，右房间是 $\mathbb{R}^m$。

2. 矩阵 $A$ 到底做了什么？

原话是：“矩阵 $A$ 乘以行空间中的向量，会一一映射到列空间；乘以零空间中的向量，则归零。”

任何输入 $x$，都可以唯一地拆成：

$$x = x_r + x_n$$

其中 $x_r$ 在行空间 $C(A^T)$ 里，$x_n$ 在零空间 $N(A)$ 里。

那么输出就是：

$$Ax = A(x_r + x_n) = \underbrace{Ax_r}_{\text{非零，在 }C(A)} + \underbrace{Ax_n}_{=0} = Ax_r$$

所以：

• 零空间分量 $x_n$ 直接被“消灭”了。这也是零空间定义的直接推论，这部分信息在映射中丢失了，这也是 $Ax=b$ 解不唯一的原因——可以随意加减零空间分量。

• 行空间分量 $x_r$ 则被“一一映射”到列空间。这里的“一一映射”很关键，它意味着：

  1. 单射：行空间中两个不同的向量 $x_r \neq y_r$，在列空间的像 $Ax_r$ 和 $Ay_r$ 也肯定不同。因为如果相同，它们的差 $x_r - y_r$ 就在零空间里，但行空间和零空间的交集只有零向量，所以差必为零。因此不会有两个行空间向量被映射到同一个地方。
  2. 满射：列空间里的每一个向量 $b$，都能找到至少一个行空间里的 $x_r$ 作为它的“原像”。这其实就是从行空间到列空间的同构映射，维数都是 $r$。

核心结论：把 $A$ 限制在 $r$ 维行空间上，会得到一个到 $r$ 维列空间的一一映射；它未必保持长度和角度，但不会再丢失维数。与此同时，整个零空间都会被送到零向量。

3. 左零空间和 $A^T$ 的角色

原话是：“左零空间的所有向量被 $A^T$ 送到零。”

理解这句的关键，就是别忘了 $A^T$ 也是个矩阵。它的作用方向是反向的，把 $\mathbb{R}^m$ 的向量送回 $\mathbb{R}^n$。

• 左零空间 $N(A^T)$ 在 $\mathbb{R}^m$ 里，对于其中的向量 $y$，由定义就有 $A^T y = 0$。
• 所以，$A^T$ 乘以左零空间的向量，结果就是 $\mathbb{R}^n$ 里的零向量。这和 $A$ 消灭零空间是一个道理。

它更深层的几何意义在哪？在于它回答了“什么样的 $b$ 能让方程有解”。

回想 $Ax = b$ 有解的条件。$b$ 必须在 $A$ 的列空间 $C(A)$ 里。那么，如果一个 $b$ 不在 $C(A)$ 里，会怎样？ 因为左零空间 $N(A^T)$ 是列空间的正交补，所以任何一个向量 $b \in \mathbb{R}^m$ 同样可以唯一分解为：

$$b = b_{\text{列}} + b_{\text{左零}}$$

其中 $b_{\text{列}} \in C(A)$，$b_{\text{左零}} \in N(A^T)$。

那么，$Ax = b$ 无解，就是因为 $b$ 中有那个非零的 $b_{\text{左零}}$ 分量。矩阵 $A$ 无论怎么吐，都只能吐出列空间里的向量，它永远无法生成任何一丝一毫左零空间方向的分量。

而这个 $b_{\text{左零}}$ 分量，正是我们下一讲要处理的“误差”。 最小二乘法的几何本质，就是识别并舍去这个分量，把 $b$ 正交投影到列空间 $C(A)$ 上，得到最接近它的 $b_{\text{列}}$。

总结一下这幅动态图

• $A$ 的作用：丢弃输入的零空间分量，再把行空间分量线性映射到 $\mathbb{R}^m$ 的列空间中。
• 四个子空间的关系：$A$ 在行空间与列空间之间给出一个同构；零空间是被送到零的方向，左零空间则是输出无法到达的方向。
• 衔接 Lec15：正因如此，当 $b$ 有不可达的左零空间分量时，我们才需要投影。