一文讀懂激活函數與損失函數的區別

1. 激活函數（Activation Function）

• 作用位置：位于每個神經元（節點）的輸出端，或者說層與層之間。
• 核心功能：
  • 引入非線性：如果沒有激活函數，無論堆疊多少層神經網絡，整個網絡最終都只是一個大型的線性回歸模型，無法解決現實世界中復雜的非線性問題。激活函數使得網絡能夠學習和逼近任意復雜的函數關系。
  • 信號轉換：它決定了當前神經元是否應該被“激活”，以及向下一層傳遞多強的信號。
• 例子：
  • ReLU (Rectified Linear Unit)：目前最常用，簡單高效。
  • Sigmoid：常用于二元分類輸出層，將輸出壓縮到 0 到 1 之間。
  • Tanh：將輸出壓縮到 -1 到 1 之間。

2. 損失函數（Loss Function / Cost Function）

• 作用位置：在模型的最終預測輸出與實際的真實標簽（Ground Truth）之間計算。
• 核心功能：
  • 量化誤差：計算模型預測結果與真實結果之間的差異程度。損失值越低，模型性能越好。
  • 指導優化：損失函數是反向傳播算法的起點。反向傳播的目標就是計算損失函數對所有參數的梯度，并通過梯度下降法最小化這個損失值。
• 例子：
  • 均方誤差 (MSE)：常用于回歸任務，計算預測值與真實值差值的平方平均數。
  • 交叉熵 (Cross-Entropy)：常用于分類任務（二元分類或多元分類）。

• 激活函數讓神經網絡變得“智能”，能夠學習復雜的模式。
• 損失函數告訴神經網絡它犯了多大的錯誤，并指引它如何改進。

參考資料： 

2. 常用激活函數/損失函數/代價函數

3.深度學習：激活函數、損失函數、優化函數的區別