無窮維空間對有限維子空間投影

無窮維空間對有限維子空間投影

令 \(V\) 為一內積空間，其搭配的內積用 \(\inp{\cdot}{\cdot}\) 表示。若 \(W\) 為 \(V\) 的有限維子空間，則我們可以找到一組基底 \(\beta = \{\bw_1, \ldots, \bw_d\}\)。當 \(\bv\) 為 \(V\) 中一向量，那麼 \(\bv\) 對 \(W\) 的投影存在嗎？唯一嗎？如果存在且唯一的話，要怎麼求呢？

當 \(V\) 是有限維時，則我們可以將 \(\bw_i\) 記錄在矩陣裡

\[ X = \begin{bmatrix} | & ~ & | \\ \bw_1 & \cdots & \bw_d \\ | & ~ & | \\ \end{bmatrix}. \]

則 \(\bv\) 在 \(W\) 的投影為 \(X(X\trans X)^{-1} X\bv\)。（如果 \(\bw_i\) 不是 \(\mathbb{R}^n\) 或 \(\mathbb{C}^n\) 的向量，則需要找一組適當的基底 \(\mathcal{E}\) 使得 \(\inp{\bx}{\by} = [\by]_\mathcal{E}\trans [\bx]_\mathcal{E}\)，並將以上的公式依相對應的向量表示法寫出來。）

然而當 \(V\) 的維度無窮時，我們連 \(X\) 都寫不下來，更不可能用同樣的方法取得投影向量。所以我們必需用不同的角度來切入個問題：我們試著在 \(W\) 上找一點 \(\bw\) 使得其到 \(\bv\) 的距離比其它 \(W\) 上的點 \(\bw'\) 還要小，也就是

\[ \|\bw - \bv\| \leq \|\bw' - \bv\|. \]

而 \(U\) 上的任一點都可以寫成 \(x_1\bw_1 + \cdots + x_d\bw_d\)，所以我們有

\[ \|x_1\bw_1 + \cdots + x_d\bw_d - \bv\|^2 = \begin{bmatrix} \bx\trans & -1 \end{bmatrix} \begin{bmatrix} A & \bb \\ \bb\trans & c \end{bmatrix} \begin{bmatrix} \bx \\ -1 \end{bmatrix}, \]

其中 \(\bx\trans = (x_1, \ldots, x_d)\)、\(A = \begin{bmatrix} \inp{\bw_i}{\bw_j} \end{bmatrix}\)、\(\bb = \begin{bmatrix} \inp{\bw_i}{\bv} \end{bmatrix}\)、而 \(c = \inp{\bv}{\bv}\)。根據 正定矩陣的二次規劃 的結論，我們知道上式的最小值唯一發生在 \(\bx = -A^{-1}\bb\cdot (-1) = A^{-1}\bb\) 時，而這樣我們也求得 \(W\) 在的唯一一點使其到 \(\bv\) 的距離最小。

我們將上述結果整理成定理。

有限維子空間投影定理

若 \(W\) 為內積空間 \(V\) 的一個有限維子空間。則任一點 \(\bv\in\ V\) 都對應到唯一一點 \(\bw\in W\) 使得 \(\bw\) 在 \(W\) 之中到 \(\bv\) 距離最短。

舉例來說，我們考慮 \(V\) 為區間 \([-1,1]\) 上的連續函數空間，並定義內積為

\[ \inp{f}{g} = \int_{-1}^1 fg\, dx. \]

當 \(\bv = e^x\) 且 \(\beta = \{1, x, x^2\}\) 時，可以計算

\[ \begin{bmatrix} A & \bb \\ \bb\trans & c \end{bmatrix} = \begin{bmatrix} 2 & 0 & \frac{2}{3} & e - e^{-1} \\ 0 & \frac{2}{3} & 0 & 2e^{-1} \\ \frac{2}{3} & 0 & \frac{2}{5} & e - 5e^{-1} \\ e - e^{-1} & 2e^{-1} & e - 5e^{-1} & \frac{1}{2}e^{2} - \frac{1}{2}e^{-1} \end{bmatrix} \]

並得到

\[ \bw = - \frac{3}{4}(e - 11e^{-1}) + 3e^{-1}x + \frac{15}{4}(e - 7e^{-1})x^2 \sim 0.99629 + 1.10364x + 0.53672x^2. \]

有趣的是，這樣的投影並非 \(e^x\) 的二次泰勒展開式。

看完距離的觀點後，我們回過頭來看 \(\bw\) 和 \(\bw - \bv\) 是否垂直。這部們可以計算

\[ \begin{aligned} \inp{\bw}{\bw - \bv} &= \inp{\bw}{\bw} - \inp{\bw}{\bv} \\ &= \bx\trans A\bx - \bx\trans\bb\cdot(1) \\ &= \bx\trans(A\bx - \bb) \end{aligned}. \]

由我們所選的 \(\bx = A^{-1}\bb\) 可知這兩個向量的內積為 \(0\)。如此一來所有 \(V\) 中的點都可以寫成 \(\bv = \bw + \bh\)，其中 \(\bw\in W\) 而 \(\bh\in W^\perp\)。如果這樣的寫法有兩種以上，則有 \(\bv = \bw_1 + \bh_1 = \bw_2 + \bh_2\)，也就是 \(\bw_1 - \bw_2 = \bh_2 - \bh_1\)。然而根據子空間的封閉性，\(\bw_1 - \bw_2 \in W\) 而 \(\bh_2 - \bh_1 \in W^\perp\)。所以

\[ \inp{\bw_1 - \bw_2}{\bw_1 - \bw_2} = \inp{\bw_1 - \bw_2}{\bh_2 - \bh_1} = 0 \]

可以推得 \(\bw_1 = \bw_2\) 及 \(\bh_2 = \bh_1\)，因此這樣的分解法唯一。綜上所述，\(V\) 可以寫為直和 \(W\oplus W^\perp\)。

想想以下問題：

1. 令 \(V\) 為一內積空間而 \(W\) 為其一子空間，且維度不一定有限。固定一點 \(\bv\in V\)，說明以下敘述等價：
   1. 存在一點 \(\bw\in W\) 其在 \(W\) 之中到 \(\bv\) 距離最短。
   2. 存在一點 \(\bw\in W\) 使得 \(\inp{\bw}{\bw - \bv} = 0\)。
2. 考慮 \(V\) 為平方和收斂的無窮數列所形成的空間（\(\ell_2\) 空間），而 \(W\) 為 \(V\) 中非零項有限的數列所形成的子空間。說明 \(\bv = (1, \frac{1}{2}, \frac{1}{3}, \cdots)\) 無法投影在 \(W\) 上。