此分類用于記錄吳恩達深度學習課程的學習筆記。
課程相關信息鏈接如下：

1. 原課程視頻鏈接：[雙語字幕]吳恩達深度學習deeplearning.ai
2. github課程資料，含課件與筆記:吳恩達深度學習教學資料
3. 課程配套練習（中英）與答案：吳恩達深度學習課后習題與答案

本篇為第二課第一周的內容，1.4和1.5的內容。

本周為第二課的第一周內容，就像課題名稱一樣，本周更偏向于深度學習實踐中出現的問題和概念，在有了第一課的機器學習和數學基礎后，可以說，在理解上對本周的內容不會存在什么難度。

當然，我也會對一些新出現的概念補充一些基礎內容來幫助理解，在有之前基礎的情況下，按部就班即可對本周內容有較好的掌握。
本篇以及下篇的核心概念只有一個：正則化

1.正則化的出現原因

我們在上一篇里提到了模型的過擬合問題，即在訓練集上表現很好，但在驗證集或測試集上表現很差。就像一個非常復雜的神經網絡，完美記住了訓練數據的所有點（包括噪聲），反而會對新數據泛化能力極差。
實際上，這是因為訓練集的樣本不夠充分，用于訓練的樣本不能比較全面地反應出正確的擬合規律，于是在出現新樣本的驗證集或測試集上表現較差。

依舊以貓狗分類舉例：假設我們的訓練集的貓全部都是白貓，那么我們訓練擬合到的模型就會認為所有的貓都是白色的，其他顏色的都不是貓，從而錯判測試集里的黑貓，橘貓等。

因此，要解決過擬合問題，從最根本的思路出發得到的措施就是增加數據量，讓訓練集更全面，更具有泛化性。
但很多時候數據并不是那么容易獲得。在一些高精尖領域，獲取更多數據所需的成本非常大。
這時，前沿的人們就會思考，如何在不增加數據的情況下，盡可能地增加模型泛化性，緩解過擬合問題？
這就是正則化出現的背景。

2.什么是正則化？

依舊先擺一個定義：

正則化（Regularization）是機器學習和統計學中用于防止模型過擬合、提高泛化能力的一種技術。其核心思想是在模型的損失函數中引入一個額外的懲罰項，以限制模型的復雜度，從而避免模型對訓練數據“過度學習”而失去對新數據的預測能力。

簡單來說，正則化通過在訓練過程中“懲罰”過大的模型參數（如權重），促使模型變得更簡單、更平滑，從而提升其在未知數據上的表現。
只看概念還是有些模糊，本周我們展開介紹一下課程中提到的兩個常見的正則化：
L2正則化 和 dropout正則化

這里要提前說明的是：還是那句話，優化的本質都是數學，因此對于兩種正則化都少不了公式的推導，這可能帶來一定程度上的理解難度。
如果你只想知道這兩種正則化的大致運行原理和優劣，我會在之后的介紹最后附上一個“人話版”的總結來較直觀的說明這部分內容。
雖然在實際應用中我們可以通過調包來直接使用正則化，但能夠較為清晰地了解基本原理，一定會對調優的過程有所幫助。

3. L2 正則化

3.1數學原理

L2正則化從代價函數的角度出發，設模型的代價函數為：

其中 \(L\) 是單個樣本的損失。
在代價函數的基礎上，L2 正則化的核心思想是——在這個損失函數中增加一個與權重有關的懲罰項，使得權重參數不至于太大。于是新的損失函數變為：

其中：

• \(|W^{[l]}|_F^2\) 表示第 \(l\) 層權重矩陣所有元素的平方和（Frobenius 范數的平方）；
• \(\lambda\) 是正則化系數（Regularization parameter），用于控制懲罰項的強度；
• \(m\) 是樣本數量，用來保持尺度一致。

我們來展開介紹一下懲罰項里涉及的一些新概念和理解中可能出現的問題：

（1）什么叫Frobenius 范數？

不要被這個看起來高大上的名字嚇到，來看定義：
Frobenius 范數是一種用于度量矩陣大小的“平方長度”，定義如下：

翻譯一下，它就是矩陣中所有元素平方后求和的結果，也叫是矩陣的“歐幾里得長度平方”。
理解上來說，如果一個矩陣 \(W^{[l]}\) 被看作是一個“向量”，Frobenius 范數就相當于這個向量離原點的距離。
因此，Frobenius 范數越大，說明整個權重矩陣的數值越大，也就意味著模型越復雜、越“激進”，就越可能出現過擬合的情況。

（2）懲罰項的存在是如何緩解過擬合的？

在反向傳播時，我們對\(W^{l}\)求偏導再代入權重更新公式，即可得到L2 正則化對權重的更新公式：

可以看到，和普通的梯度下降相比，這里多了一個“\((+\frac{\lambda}{m}W^{[l]})\)” 項。
這一項會讓權重在每次更新時略微“收縮”，就像一股向 0 拉回的力，這種收縮效果也常被稱為權重衰減（weight decay）。

這樣做帶來兩個直接的效果：

1. 防止權重過大。 當模型試圖極端地記住訓練樣本（尤其是噪聲點）時，相關權重往往會迅速增大，而這股“向 0 的力”會將其拉回。
2. 讓模型更平滑。 權重較小時，模型的決策邊界變化更平緩，不會為了一些孤立樣本而“硬拐彎”，因此對新數據的適應性更好。

（3）正則化系數 \(\lambda\) 的設置和作用？

通過上面的損失計算公式和權重更新公式，我們知道：
\(\lambda\) 決定了懲罰項在總損失中的權重占比，同時也調節著參數更新。
我們來看具體的幾種情況：

• 當 \(\lambda\) 很小時，懲罰項幾乎不起作用，模型仍可能過擬合；
• 當 \(\lambda\) 適中時，懲罰項會迫使模型收縮權重，減少復雜度，提高泛化性；
• 當 \(\lambda\) 太大時，懲罰項主導損失函數，權重被強制壓得很小，模型將難以學習到有效特征，從而出現欠擬合。

打個比方：\(\lambda\) 就像是模型的平衡力度旋鈕。
旋鈕擰得太小，模型胡亂記憶；
旋鈕擰得太大，模型束手束腳。
只有調到合適的位置，模型才能既學習規律，又不會死記數據。

總的來說，L2 正則化讓模型變得更“克制”，不再依賴個別特征的極端取值，而是傾向于綜合多種信息。

3.2 “人話版總結”

L2 正則化可以理解為：給權重系上“橡皮筋”，當它們離 0 太遠時，橡皮筋就會拉回來，讓模型別太激動，別亂記噪聲。

下篇會用相同格式介紹dropout正則化和一些其他幫助緩解過擬合的方式。
同時，也可以思考一個問題，應用正則化和直接調節學習率有什么不同呢？
我們完成正則化部分再來解答這個問題。