切空間、切叢與收縮算子

切空間

一般流形上的切空間的定義相對比較抽象，流形優化一般只考慮有限維線性空間上的流形，此時的切空間定義簡單一些。一般的情況可以類似的推廣，這里不去討論。

定義
設 \(\mathcal{M}\) 是 \(\mathcal{E}\) 的一個子集。對于所有 \(x \in \mathcal{M}\)，定義：

其中 \(I\) 是包含 \(t = 0\) 的任意開區間。也就是說，\(v \in \mathrm{T}_x\mathcal{M}\) 當且僅當存在 \(\mathcal{M}\) 上經過 \(x\) 且導數為 \(v\) 的光滑曲線。

定理（切空間與局部定義函數核空間的關系）
設 \(\mathcal{M}\) 是 \(\mathcal{E}\) 的一個嵌入子流形。考慮 \(x \in \mathcal{M}\) 以及集合 \(\mathrm{T}_x\mathcal{M}\)。若 \(\mathcal{M}\) 是一個開子流形，那么 \(\mathrm{T}_x\mathcal{M} = \mathcal{E}\)。否則，\(\mathrm{T}_x\mathcal{M} = \ker \mathrm{D}h(x)\)，其中 \(h\) 是在 \(x\) 處的任意局部定義函數。

證明

• (1) 若 \(\mathcal{M}\) 是一個開子流形，顯然 \(\mathrm{T}_x\mathcal{M} \subset \mathbb{R}^d = \mathcal{E}\)，

  又 \(\forall v \in \mathbb{R}^d = \mathcal{E}\)，令 \(c(t)=x+tv\)，則光滑且 \(c(0)=x\)；于是 \(c^\prime(0)=v\in \mathrm{T}_x\mathcal{M}\)，則 \(\mathbb{R}^d = \mathcal{E} \subset \mathrm{T}_x\mathcal{M}\)，綜上：

  \[\mathrm{T}_x\mathcal{M} = \mathcal{E}. \]

• (2) 否則

  • (2-1) 先證 \(\mathrm{T}_x\mathcal{M} \subset \ker \mathrm{D}h(x)\)；

    \(\forall v \in \mathrm{T}_x\mathcal{M}\)，\(\exists~c: I \rightarrow \mathcal{M}\)，\(c(0)=x,~c^\prime(0)=v\)。

    又因為 \(c(t)\in \mathcal{M}, \forall t \in I\)，又由 \(c\) 的連續性，當 \(t\) 充分小時，有 \(c(t)\in U \bigcap \mathcal{M}\)，則 \(h(c(t))=0\)，于是

    \[0=\fracw0obha2h00{dt} \left( h(c(t)) \right)= \mathrm{D}h(c(t))c^\prime(t), \]

    令 \(t=0\)，則 \(0=\mathrm{D}h(x)v\)，于是 \(v\in \ker \mathrm{D}h(x)\)，\(\mathrm{T}_x\mathcal{M} \subset \ker \mathrm{D}h(x)\) 得證。

  • (2-2) 下證 \(\ker \mathrm{D}h(x) \subset \mathrm{T}_x\mathcal{M}\)；

    取 \(u\in \mathbb{R}^{d-k}\)，令 \(\gamma(t)=F(x)+t \begin{bmatrix} u \\ 0 \end{bmatrix}\)，\(F\) 即為前文嵌入子流形等價定義中的；

    由 \(x\in U\cap \mathcal{M}\)，則 \(F(x)\in V\cap \mathcal{M}\)，

    又 \(\begin{bmatrix} u \\ 0 \end{bmatrix}\in E\)，則 \(\gamma(t)\in E\)，

    而 \(V\) 是開集，則當 \(t\) 充分小的時候，\(\gamma(t)\in V\cap E\)，

    令 \(c(t)=F^{-1}(\gamma(t))\)，則 \(c(0)=F^{-1}(F(x))=x\)，

    則 \(c^\prime(t)=\mathrm{D}F^{-1}(\gamma(t))\gamma^\prime(t)\)，則 \(c^\prime(0)=\mathrm{D}F^{-1}(F(x))\begin{bmatrix} u \\ 0 \end{bmatrix}=(\mathrm{D}F(x))^{-1}x\)，

    其中最后一個等式是因為 \(\mathrm{D}x=I=\mathrm{D}(F^{-1}\circ F(x))=\mathrm{D}F^{-1}(F(x))\mathrm{D}F(x)\)，

    于是 \(\forall v \in \ker \mathrm{D}h(x)\)，\(\exists \begin{bmatrix} u \\ 0 \end{bmatrix}=\mathrm{D}F(x)v=\begin{bmatrix} * \\ \mathrm{D}h(x) \end{bmatrix}v\)，則 \(v\in \mathrm{T}_x\mathcal{M}\)。

    則 \(\ker \mathrm{D}h(x) \subset \mathrm{T}_x\mathcal{M}\) 得證。

綜上 \(\ker \mathrm{D}h(x) =\mathrm{T}_x\mathcal{M}\)。

切叢

定義（切叢）
流形 \(\mathcal{M}\) 的切叢定義為：

注
對于切向量 \(v \in \mathrm{T}_x\mathcal{M}\)，我們有時會將 \(v\) 和 \((x, v)\) 這兩個概念混同。如果從上下文能清楚知道 \(v\) 的基點是 \(x\)，我們可以寫成 \((x, v) \in \mathrm{T}_x\mathcal{M}\)，甚至 \(v \in \mathrm{T}\mathcal{M}\)。

切叢是一個流形。

定理
若 \(\mathcal{M}\) 是 \(\mathcal{E}\) 的一個嵌入子流形，則切叢 \(\mathrm{T}\mathcal{M}\) 是 \(\mathcal{E} \times \mathcal{E}\) 的一個嵌入子流形，且 \(\dim \mathrm{T}\mathcal{M}=2\dim \mathcal{M}\)。

證明
\(\forall (\bar{x},\bar{v})\in \mathrm{T}\mathcal{M}\)，只需在 \((\bar{x},\bar{v})\) 處找到對應的局部定義函數即可。

由于 \(\bar{x}\in \mathcal{M}\)，而 \(\mathcal{M}\) 是 \(\mathcal{E}\) 的一個嵌入子流形，則存在 \(\overline{x}\) 在 \(\mathcal{E}\) 中的一個鄰域 \(U\) 以及一個光滑函數 \(h: U \to \mathbb{R}^k\)，滿足：

• (a) 若 \(y\) 在 \(U\) 中，則 \(h(y) = 0\) 當且僅當 \(y \in \mathcal{M}\)；
• (b) \(\mathrm{rank}\mathrm{D}h(\bar{x}) = k\)。

我們現在的任務是，找到 \((\bar{x},\bar{v})\) 對應的局部定義函數，一個自然的想法是 \(H: U \times \mathcal{E} \to \mathbb{R}^{2k}\)

這時

于是 \(\mathrm{rank}\, \mathrm{D}H(\bar{x},\bar{v}) = \mathrm{rank}\, \mathrm{D}h(\bar{x}) + \mathrm{rank}\, \mathrm{D}h(\bar{x}) = 2k\)。

不過此時還有一個問題沒有解決：需說明 \(\mathrm{T}\mathcal{M} \cap (U \times \mathcal{E}) = H^{-1}(0)\)。分析如下：

當 \((x,v)\in\mathrm{T}\mathcal{M} \cap (U \times \mathcal{E})\)，顯然有 \(x\in \mathcal{M}\cap U=h^{-1}(0)\)，只需說明 \(v\in \ker \mathrm{D}h(x)\)。

當 \((x,v)\in H^{-1}(0)\)，顯然有 \(x\in h^{-1}(0)= \mathcal{M}\cap U\)，只需說明 \(v\in \mathrm{T}_x\mathcal{M}\)。

于是需要說明 \(\mathrm{T}_x\mathcal{M}=\ker \mathrm{D}h(x)\)，而根據前文的切空間與局部定義函數核空間的關系定理，只需證明 \(h\) 也是 \(x\) 處的局部定義函數。

而 \(h\) 是 \(\bar{x}\) 的局部定義函數，\(x\) 是 \(\bar{x}\) 的鄰域 \(U\) 中的一個點，由 \(\mathrm{D}h(x)\) 的連續性，當 \(x\) 在 \(\bar{x}\) 的某一鄰域內（仍記為 \(U\)）時，\(\mathrm{rank} \mathrm{D}h(\bar{x}) = k\)，回帶到上面的論證即可。

對于維數，利用 \(\mathrm{T}_{(\bar{x}, \bar{v})} \mathrm{T}\mathcal{M} = \ker \mathrm{D}H(\bar{x}, \bar{v})\) 和秩-零化度定理，可得出 \(\dim \mathrm{T}\mathcal{M} = \dim \mathrm{T}_{(\bar{x}, \bar{v})} \mathrm{T}\mathcal{M} = 2 \dim \mathcal{E} - 2k = 2 \dim\mathcal{M}\)。

注
在上述證明中可以發現，一個嵌入子流形某一點處的局部定義函數是 \(h\)，則在這一點的某個鄰域內的任意一個點，\(h\) 也可以成為其局部定義函數，相當于 \(h\) 是這個鄰域一致的局部定義函數。

定義（光滑向量場）
流形 \(\mathcal{M}\) 上的向量場是一個映射 \(V: \mathcal{M} \to \mathrm{T}_x\mathcal{M}\)，使得對所有 \(x \in \mathcal{M}\)，有 \(V(x) \in \mathrm{T}_x\mathcal{M}\)。如果 \(V\) 是一個光滑映射，我們稱它是一個光滑向量場。光滑向量場的集合記為 \(\mathfrak{X}(\mathcal{M})\)。

收縮算子

給定一點 \(x \in \mathcal{M}\) 和一個切向量 \(v \in \mathrm{T}_x\mathcal{M}\)，我們經常需要從 \(x\) 出發沿著方向 \(v\) 移動，同時保持在流形上：這是梯度下降算法以及流形上幾乎所有優化算法的基本操作。我們可以通過沿著流形 \(\mathcal{M}\) 上任意一條滿足 \(c(0) = x\) 且 \(c'(0) = v\) 的光滑曲線 \(c\) 來實現這一點，但當然存在許多這樣的曲線。一個收縮（retraction）為每一個可能的 \((x, v) \in \mathrm{T}\mathcal{M}\) 選取一條特定的曲線。此外，這種曲線的選擇光滑地依賴于 \((x, v)\)，我們利用切叢 \(\mathrm{T}\mathcal{M}\) 是一個流形這一事實來精確表述這種依賴關系。

定義（收縮）
流形 \(\mathcal{M}\) 上的一個收縮是一個光滑映射

使得每條曲線 \(c(t) = \mathrm{R}_x(tv)\) 滿足 \(c(0) = x\) 且 \(c'(0) = v\)。

例子
在線性流形上，\(R_x(v) = x + v\) 是一個收縮。

例子
設 \(x\) 是球面 \(\mathbb{S}^{d-1}\) 上的一個點，且設 \(v\) 在 \(x\) 處是切向量，即 \(x^\top v = 0\)。為了沿 \(v\) 從 \(x\) 出發移動同時保持在球面上，一種方法是先在 \(\mathbb{R}^d\) 中邁出一步，然后投影回球面：

考慮由下式定義的曲線 \(c: \mathbb{R} \to \mathbb{S}^{d-1}\)：

顯然，\(c(0) = x\)。此外，可以計算得 \(c'(0) = v\)，也就是說，在 \(x\) 附近，直到一階近似，收縮曲線沿 \(v\) 移動。為了驗證 \(\mathrm{R}\) 是光滑的，注意到 \(\overline{\mathrm{R}}_x(v) \triangleq (x + v)/\sqrt{1 + \|v\|^2}\) 是到整個 \(\mathbb{R}^d \times \mathbb{R}^d\) 的光滑延拓。

另一個合理的選擇是沿大圓從 \(x\) 出發移動：

采用通常的約定 \(\sin(0)/0 = 1\)。事實上，曲線

描繪出 \(\mathbb{S}^{d-1}\) 上的大圓，該大圓在 \(t=0\) 時經過 \(x\)，且速度為 \(c'(0) = v\)。