自編碼器

自編碼器(Autoencoder)是一種特定的神經網絡結構，其目的是為了將輸入信息映射到某個更低維度的空間，生成包含重要特征的編碼code，這部分稱為Encoder，可用函數 \(h=f(x)\) 表示， 然后再利用Decoder將code重構成為盡量能還原原輸入的結果，用函數 \(r=g(h)\) 。網絡模型目的就是盡量使 \(g(f(x))=x\) ，當然如果只是簡單的將輸入復制到輸出是沒有任何意義的，所以需要加一定的限制條件，使模型學習到數據中更重要的特征。有的時候，我們也需要將這種確定 性的函數拓展到具有隨機性的概率分布 \(p_{\text {encoder }}(h \mid x)\) 和 \(p_{\text {decoder }}(x \mid h)\) 。

欠完備編碼器

為了學習到重要的特征，我們可以限制編碼 \(h\) 的維度小于輸入，這種編碼器成為欠完備編碼器 (Undercomplete Autoencoder)。其損失函數可以表示為 \(L(x, g(f(x)))\) ，函數 \(L\) 度量 \(g(f(x))\) 偏離輸入 \(x\) 的程度。當decoder函數 \(g\) 是線性函數， \(L\) 是均方差的時候，欠完備編碼器學習到的空間與PCA (主成分分析) 相同。對于帶有非線性函數編碼解碼函數的欠完備編碼器，即使編碼 \(h\) 的維度小于輸入，我們也可以任意的改變非線性函數，將輸入復制到輸出而無需學習到有效的信息，所以怎樣限制模型的容量才是關鍵。

正則自編碼器

正則自編碼器(Regularized Autoencoder)通過向損失函數中加入對模型復雜度的懲罰項可以有效的解決模型容量過大的問題。模型的訓練過程就需要在如下兩種沖突中尋找平衡：1. 學習輸入數 據 \(x\) 的有效表示 \(h\) ，使得decoder可以有效的通過 \(h\) 重構 \(x\) 。2.滿足懲罰項帶來的限制條件，這可 以通過限制模型的容量大小，也可以通過改變模型的重構損失，通常會使模型對于輸入的擾動更不敏感。以下是三種書本介紹的自編碼器。

稀疏自編碼器(Sparse Autoencoder)

向損失函數中加入關于編碼的稀疏懲罰項 \(\Omega(h)\) ，例如 \(\Omega(h)=\lambda \sum_i\left|h_i\right|\) 。這樣學習到的稀疏的表示提取了原數據中更重要的一些特征。

去噪自編碼器(Denoising Autoencoder)

簡稱DAE，其輸入是被損壞的數據，結果是希望能夠重構未損壞的原數據。其訓練過程：

1. 從訓練數據中取樣樣本 \(x\) 。

2. 取樣對應的損壞的結果 \(\tilde{x}\) ，這可以用條件概率 \(C(\tilde{x} \mid x=x)\) 來表示。

3. 將 \((x, \tilde{x})\) 作為訓練數據來預測重構分布 \(p_{\text {reconstruct }}(x \mid \tilde{x})=p_{\text {decoder }}(x \mid h)\) ，其中 \(h\) 是編碼器 \(f(\tilde{x})\) 的輸出。

我們可以將DAE訓練過 程看做是對于如下的期望的隨機梯度下降過程

如下圖所示我們利用 \(g \circ f\) 操作將受損 數據 \(\tilde{x}\) 盡量映射回原數據 \(x\) 所在的線上，也可以理解為DAE就是令重構函數更能抵抗輸入中的微擾。

收縮自編碼器(Contractive Autoencoder)

收縮自編碼器的懲罰項表示為 \(\Omega(h)=\lambda\left\|\frac{\partial f(x)}{\partial x}\right\|_F^2\) ，是雅可比矩陣的Frobenius范數，可理解為使得encoder更能抵抗輸入中的微擾。

去噪自編碼器和收縮自編碼器之間存在一定聯系: 在小高斯噪聲的限制下, 當重構函數將 \(\boldsymbol{x}\) 映射到 \(\boldsymbol{r}=g(f(\boldsymbol{x}))\) 時, 去噪重構誤差與收縮懲罰項是等價的。換句話說, 去噪自編碼器能抵抗小且有限的輸人擾動, 而收縮自編碼器使特征提取函數能抵抗極小的輸人擾動。
分類任務中, 基于 Jacobian 的收縮懲罰預訓練特征函數 \(f(x)\), 將收縮懲罰應用在 \(f(x)\) 而不是 \(g(f(x))\) 可以產生最好的分類精度。應用于 \(f(x)\) 的收縮懲罰與得分匹配也有緊密的聯系。

收縮 (contractive) 源于 CAE 彎曲空間的方式。具體來說, 由于 CAE 訓練為抵抗輸人擾動, 鼓勵將輸入點鄰域映射到輸出點處更小的鄰域。我們能認為這是將輸入的鄰域收縮到更小的輸出鄰域。
說得更清楚一點, CAE只在局部收縮一個訓練樣本，將 \(x\) 的所有擾動都映射到 \(f(x)\) 的附近。全局來看, 兩個不同的點 \(x\) 和 \(x^{\prime}\) 會分別被映射到遠離原點的兩個點 \(f(\boldsymbol{x})\) 和 \(f\left(\boldsymbol{x}^{\prime}\right)\) 。\(f\) 擴展到數據流形的中間或遠處是合理的，當 \(\Omega(h)\) 懲罰應用于 sigmoid 單元時, 收縮 Jacobian 的簡單方式是令 sigmoid 趨向飽和的 0 或 1 。這鼓勵 CAE 使用 sigmoid 的極值編碼輸入點, 或許可以解釋為二進制編碼。它也保證了 CAE 可以穿過大部分 sigmoid 隱藏單元能張成的超立方體, 進而擴散其編碼值。(?這句話理解不能)
我們可以認為點 \(x\) 處的 Jacobian 矩陣 \(J\) 能將非線性編碼器近似為線性算子。這允許我們更形式地使用 “收縮” 這個詞。在線性理論中, 當 \(J x\) 的范數對于所有單位 \(x\) 都小于等于 1 時, \(J\) 被稱為收縮的。換句話說, 如果 \(J\) 收縮了單位球, 他就是收縮的。我們可以認為 \(\mathrm{CAE}\) 為鼓勵每個局部線性算子具有收縮性, 而在每個訓練數據點處將 Frobenius 范數作為 \(f(x)\) 的局部線性近似的懲罰。

tips:正則自編碼器基于兩種相反的推動力學習流形。在 CAE 的情況下, 這兩種推動力是重構誤差和收縮偍罰 \(\Omega(h)\) 。單獨的重構誤差鼓勵 CAE 學習一個恒等函數。單獨的收縮?罰將鼓勵 CAE 學習關于 \(x\) 是恒定的特征。這兩種推動力的的折衷產生導數 \(\frac{\partial f(x)}{\partial x}\) 大多是微小的自編碼器。只有少數隱藏單元, 對應于一小部分輸人數據的方向, 可能有顯著的導數。這其實就是自編碼器學習流形的方法。

CAE 的目標是學習數據的流形結構。使 \(J x\) 很大的方向 \(x\), 會快速改變 \(h\), 因 此很可能是近似流形切平面的方向。Rifai的實驗顯示訓練 CAE 會 導致 \(J\) 中大部分奇異值 (幅值) 比 1 小, 因此是收縮的。然而, 有些奇異值仍然比 1 大, 因為重構誤差的懲罰鼓勵 CAE 對最大局部變化的方向進行編碼。對應于最大奇異值的方向被解釋為收縮自編碼器學到的切方向。理想情況下, 這些切方向應對應于數據的真實變化。比如, 一個應用于圖像的 CAE 應該能學到顯示圖像改變的切向量。

自編碼器應用

自編碼器的主要應用有降維(dimensionality reduction)和信息檢索(information retrieval)。降維前面已經提到，通過encoder我們可以將較復雜的輸入編碼到維度較低的空間中。信息檢索主要是指從數據庫中找到與用戶的查詢條目相近的條目，如果我們利用Autoencoder有效的將每個條目降維并用二進制編碼每個維度上的值，則我們可以將數據庫中的所有條目產生對應的在低維空間上的哈希碼，我們可以有效的提取與用戶的查詢相同的哈希碼，也可以通過改變某幾個位上的比特值來尋找與用戶相類似的條目，這種方法稱為semantic hashing。

小結

自編碼器作為降維的優秀工具，是非常重要且泛用性好的工具，值得深入研究掌握。但是書本對其的數學原理講解一言難盡，因此筆記在此沒有過多涉及，以后再進行補足。