跳至主要内容

與矩陣相關之子空間的維度 (The Dimension of Subspaces Associated with a Matrix)

備註

本系列文章內容參考自經典教材 Elementary Linear Algebra (Pearson New International Edition)。本文對應章節：Ch4-3 The Dimension of Subspaces Associated with a Matrix。

矩陣相關的基本子空間 (Fundamental Subspaces of a Matrix)​

每一個矩陣 AA 都會自然地對應幾個重要的子空間。設 AA 是一個 m×nm \times n 矩陣（mm 個 Row，nn 個 Column），則：

回顧：子空間的定義

關於 Row Space、Column Space 與 Null Space 的完整定義，請參考 Ch4-1 子空間。

Row Space (Row 空間)​

Row Space 是由 AA 的所有 Row 向量所生成的子空間：

Row(A)=Span{row1(A),row2(A),…,rowm(A)}\text{Row}(A) = \text{Span}\{\text{row}_1(A), \text{row}_2(A), \ldots, \text{row}_m(A)\}

由於每個 Row 向量有 nn 個分量，Row Space 是 Rn\mathbb{R}^n 的子空間。

Column Space (Column 空間)​

Column Space 是由 AA 的所有 Column 向量所生成的子空間：

Col(A)=Span{col1(A),col2(A),…,coln(A)}\text{Col}(A) = \text{Span}\{\text{col}_1(A), \text{col}_2(A), \ldots, \text{col}_n(A)\}

由於每個 Column 向量有 mm 個分量，Column Space 是 Rm\mathbb{R}^m 的子空間。

Null Space (零空間)​

Null Space 是所有滿足 Ax=0A\mathbf{x} = \mathbf{0} 的向量所構成的集合：

Null(A)={x∈Rn:Ax=0}\text{Null}(A) = \{\mathbf{x} \in \mathbb{R}^n : A\mathbf{x} = \mathbf{0}\}

由於 x\mathbf{x} 是 nn 維向量，Null Space 是 Rn\mathbb{R}^n 的子空間。

四大基本子空間總覽​

對於 m×nm \times n 矩陣 AA，以下是四個基本子空間的維度關係：

子空間所屬空間維度
Col(A)\text{Col}(A)Rm\mathbb{R}^mrank(A)\text{rank}(A)
Null(A)\text{Null}(A)Rn\mathbb{R}^nnullity(A)=n−rank(A)\text{nullity}(A) = n - \text{rank}(A)
Row(A)\text{Row}(A)Rn\mathbb{R}^nrank(A)\text{rank}(A)
Null(AT)\text{Null}(A^T)Rm\mathbb{R}^mm−rank(A)m - \text{rank}(A)（因為 rank(A)=rank(AT)\text{rank}(A) = \text{rank}(A^T)）
回顧：Rank 與 Nullity

關於 Rank、Nullity 的定義以及 Rank-Nullity Theorem，請參考 Ch1-4 高斯消去法。


求 Row Space 與 Column Space 的基底​

Row Space 的基底​

要找出 Row Space 的基底，我們可以利用Row Echelon Form (REF) 或 Reduced Row Echelon Form (RREF)。

Theorem：矩陣 AA 與其 Row Echelon Form RR 具有相同的 Row Space： Row(A)=Row(R)\text{Row}(A) = \text{Row}(R)

為什麼 Elementary Row Operations 不會改變 Row Space？

考慮三種 Elementary Row Operations：

  1. Row Interchange（Ri↔RjR_i \leftrightarrow R_j）：只是重新排列 Row 的順序，生成集合的元素不變，Span 自然不變。

  2. Row Scaling（Ri→cRiR_i \to cR_i，c≠0c \neq 0）：將某個 Row 乘以非零常數。由於 Span{v}=Span{cv}\text{Span}\{\mathbf{v}\} = \text{Span}\{c\mathbf{v}\}（c≠0c \neq 0），所以不影響整體的 Span。

  3. Row Addition（Ri→Ri+cRjR_i \to R_i + cR_j）：這是最關鍵的情況。設原本的 Rows 是 r1,…,rm\mathbf{r}_1, \ldots, \mathbf{r}_m，操作後變成 r1,…,ri+crj,…,rm\mathbf{r}_1, \ldots, \mathbf{r}_i + c\mathbf{r}_j, \ldots, \mathbf{r}_m。

    • 新 Row 可被舊 Rows 表示：ri+crj\mathbf{r}_i + c\mathbf{r}_j 本來就是舊 Rows 的線性組合
    • 舊 Row 可被新 Rows 表示：ri=(ri+crj)−crj\mathbf{r}_i = (\mathbf{r}_i + c\mathbf{r}_j) - c\mathbf{r}_j，也是新 Rows 的線性組合
    • 因此兩組向量生成相同的 Span

因此，Row Echelon Form 中的非零 Row 向量就構成 Row Space 的一組基底。

範例：設 A=[12−132402121−1]A = \begin{bmatrix} 1 & 2 & -1 & 3 \\ 2 & 4 & 0 & 2 \\ 1 & 2 & 1 & -1 \end{bmatrix}

化為 RREF：

A→RREF[1201001−20000]A \xrightarrow{\text{RREF}} \begin{bmatrix} 1 & 2 & 0 & 1 \\ 0 & 0 & 1 & -2 \\ 0 & 0 & 0 & 0 \end{bmatrix}

Row Space 的基底為：{[1201],[001−2]}\left\{ \begin{bmatrix} 1 \\ 2 \\ 0 \\ 1 \end{bmatrix}, \begin{bmatrix} 0 \\ 0 \\ 1 \\ -2 \end{bmatrix} \right\}（將 Row 寫成 Column 形式）

因此 dim⁡(Row(A))=2\dim(\text{Row}(A)) = 2。

Column Space 的基底​

要找出 Column Space 的基底，我們使用Pivot Columns。

Theorem：設 A→RREFRA \xrightarrow{\text{RREF}} R，則 AA 中與 RR 的 pivot columns 對應的 columns 構成 Col(A)\text{Col}(A) 的基底。

注意！

這裡取的是原矩陣 AA 的 columns，不是 RREF 的 columns！

RREF 告訴我們「哪些 columns 有 pivot」，基底向量要從原始矩陣取。

範例（續上例）：

從 RREF 可知，pivot columns 在第 1 個和第 3 個位置，因此：

Column Space 的基底為：{[121],[−101]}\left\{ \begin{bmatrix} 1 \\ 2 \\ 1 \end{bmatrix}, \begin{bmatrix} -1 \\ 0 \\ 1 \end{bmatrix} \right\}

因此 dim⁡(Col(A))=2\dim(\text{Col}(A)) = 2。

範例：判斷向量集合是否為 Null Space 的基底​

設 A=[1321026504133−145151218]A = \begin{bmatrix} 1 & 3 & 2 & 1 & 0 \\ 2 & 6 & 5 & 0 & 4 \\ 1 & 3 & 3 & -1 & 4 \\ 5 & 15 & 12 & 1 & 8 \end{bmatrix}，B={[−31000],[−50210],[80−401]}B = \left\{ \begin{bmatrix} -3 \\ 1 \\ 0 \\ 0 \\ 0 \end{bmatrix}, \begin{bmatrix} -5 \\ 0 \\ 2 \\ 1 \\ 0 \end{bmatrix}, \begin{bmatrix} 8 \\ 0 \\ -4 \\ 0 \\ 1 \end{bmatrix} \right\}

判斷 BB 是否為 Null(A)\text{Null}(A) 的基底。

Solution：

要判斷 BB 是否為 Null(A)\text{Null}(A) 的基底，需要驗證兩件事：

  1. BB 中的向量是否都在 Null(A)\text{Null}(A) 中？
  2. BB 中的向量數量是否等於 dim⁡(Null(A))\dim(\text{Null}(A))，且 BB 線性獨立？

Step 1：計算 nullity(A)\text{nullity}(A)

將 AA 化為 RREF：

A→RREFR=[1305−8001−240000000000]A \xrightarrow{\text{RREF}} R = \begin{bmatrix} 1 & 3 & 0 & 5 & -8 \\ 0 & 0 & 1 & -2 & 4 \\ 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 \end{bmatrix}
  • Pivot columns：第 1 和第 3 個 → rank(A)=2\text{rank}(A) = 2
  • AA 有 n=5n = 5 個 columns
  • nullity(A)=n−rank(A)=5−2=3\text{nullity}(A) = n - \text{rank}(A) = 5 - 2 = 3

Step 2：驗證 B⊆Null(A)B \subseteq \text{Null}(A)

需要確認 BB 中的每個向量 v\mathbf{v} 都滿足 Av=0A\mathbf{v} = \mathbf{0}。（計算省略，可直接驗證）

Step 3：判斷 BB 是否為基底

由於：

  • BB 中有 3 個向量，恰好等於 dim⁡(Null(A))=3\dim(\text{Null}(A)) = 3
  • B⊆Null(A)B \subseteq \text{Null}(A)
  • BB 中的向量線性獨立（可從它們的結構看出：每個向量在不同位置有唯一的非零分量）

根據上一篇筆記的 判定基底的捷徑：當向量數量恰等於子空間維度時，只需驗證線性獨立或 BB 生成 Null(A)\text{Null}(A) 其中一個條件即可。

結論：BB 是 Null(A)\text{Null}(A) 的基底。


Row Space 與 Column Space 的維度關係​

從上面的範例中可見，dim⁡(Row(A))=dim⁡(Col(A))=2\dim(\text{Row}(A)) = \dim(\text{Col}(A)) = 2。以下定理說明這個等式對所有矩陣都成立。

Row Rank = Column Rank​

Theorem：對於任何矩陣 AA，Row Space 和 Column Space 的維度相等：

dim⁡(Row(A))=dim⁡(Col(A))=rank(A)\colorbox{yellow}{$\dim(\text{Row}(A)) = \dim(\text{Col}(A)) = \text{rank}(A)$}

證明概述：

設 AA 的 RREF 為 RR，其中有 rr 個 pivot positions。

  1. Row 方面：RR 有 rr 個非零 Row，且由於 Row(A)=Row(R)\text{Row}(A) = \text{Row}(R)，故 dim⁡(Row(A))=r\dim(\text{Row}(A)) = r。
  2. Column 方面：RR 有 rr 個 pivot columns，這些 pivot columns 對應 AA 中構成 Column Space 基底的向量，故 dim⁡(Col(A))=r\dim(\text{Col}(A)) = r。

因此，dim⁡(Row(A))=dim⁡(Col(A))=r=rank(A)\dim(\text{Row}(A)) = \dim(\text{Col}(A)) = r = \text{rank}(A)。∎

此外，由於 ATA^T 的 Row Space 就是 AA 的 Column Space，反之亦然，所以 rank(A)=rank(AT)\text{rank}(A) = \text{rank}(A^T)，也就是轉置不改變 Rank。


Row Space 與 Column Space 的關鍵差異​

維度相同 ≠ 空間相同

雖然 dim⁡(Row(A))=dim⁡(Col(A))=rank(A)\dim(\text{Row}(A)) = \dim(\text{Col}(A)) = \text{rank}(A)，但這不代表 Row Space 和 Column Space 是「同一個空間」。

對於一個 m×nm \times n 矩陣 AA：

  • Row Space 是 Rn\mathbb{R}^n 的子空間（因為每個 Row 有 nn 個分量）
  • Column Space 是 Rm\mathbb{R}^m 的子空間（因為每個 Column 有 mm 個分量）

當 m≠nm \neq n 時，這兩個空間在完全不同的維度世界裡！

例如，若 AA 是 3×53 \times 5 矩陣：

  • Row Space ⊆R5\subseteq \mathbb{R}^5
  • Column Space ⊆R3\subseteq \mathbb{R}^3

它們的維度可能都是 2（rank = 2），但一個是 R5\mathbb{R}^5 中的 2 維子空間，另一個是 R3\mathbb{R}^3 中的 2 維子空間。

下圖直觀展示了這個關鍵概念：對於一個 3×43 \times 4 矩陣，Row Space 和 Column Space 雖然維度相等，但它們「住」在不同的空間中。

Row Space 與 Column Space 的位置差異


範例：綜合應用​

完整分析矩陣的子空間維度​

設 A=[12012410001−2]A = \begin{bmatrix} 1 & 2 & 0 & 1 \\ 2 & 4 & 1 & 0 \\ 0 & 0 & 1 & -2 \end{bmatrix}

Step 1：求 RREF

A→RREF[1201001−20000]A \xrightarrow{\text{RREF}} \begin{bmatrix} 1 & 2 & 0 & 1 \\ 0 & 0 & 1 & -2 \\ 0 & 0 & 0 & 0 \end{bmatrix}

Step 2：讀取 Rank

Pivot 位置：(1,1) 和 (2,3)，共 2 個 pivot。

rank(A)=2\text{rank}(A) = 2

Step 3：計算 Nullity

矩陣有 n=4n = 4 個 columns，由 Rank-Nullity Theorem：

nullity(A)=n−rank(A)=4−2=2\text{nullity}(A) = n - \text{rank}(A) = 4 - 2 = 2

Step 4：找出 Row Space 基底

RREF 中的非零 rows：

Row Space 基底={[1201],[001−2]}\text{Row Space 基底} = \left\{ \begin{bmatrix} 1 \\ 2 \\ 0 \\ 1 \end{bmatrix}, \begin{bmatrix} 0 \\ 0 \\ 1 \\ -2 \end{bmatrix} \right\}

Step 5：找出 Column Space 基底

原矩陣 AA 中第 1 和第 3 個 column（對應 pivot columns）：

Column Space 基底={[120],[011]}\text{Column Space 基底} = \left\{ \begin{bmatrix} 1 \\ 2 \\ 0 \end{bmatrix}, \begin{bmatrix} 0 \\ 1 \\ 1 \end{bmatrix} \right\}

Step 6：找出 Null Space 基底

從 RREF 解出 Ax=0A\mathbf{x} = \mathbf{0}，自由變數為 x2=sx_2 = s，x4=tx_4 = t：

x=[−2s−ts2tt]=s[−2100]+t[−1021]\mathbf{x} = \begin{bmatrix} -2s - t \\ s \\ 2t \\ t \end{bmatrix} = s\begin{bmatrix} -2 \\ 1 \\ 0 \\ 0 \end{bmatrix} + t\begin{bmatrix} -1 \\ 0 \\ 2 \\ 1 \end{bmatrix}

Null Space 基底={[−2100],[−1021]}\text{Null Space 基底} = \left\{ \begin{bmatrix} -2 \\ 1 \\ 0 \\ 0 \end{bmatrix}, \begin{bmatrix} -1 \\ 0 \\ 2 \\ 1 \end{bmatrix} \right\}

驗證：dim⁡(Row(A))=dim⁡(Col(A))=rank(A)=2\dim(\text{Row}(A)) = \dim(\text{Col}(A)) = \text{rank}(A) = 2 ✓