大家好~我開設了“深度學習基礎班”的線上課程，帶領同學從0開始學習全連接和卷積神經網絡，進行數學推導，并且實現可以運行的Demo程序

線上課程資料：
本節課錄像回放
加QQ群，獲得ppt等資料，與群主交流討論：106047770

本系列文章為線上課程的復盤，每上完一節課就會同步發布對應的文章

本文為第三節課：“全連接層的前向和后向傳播推導（中）”的復盤文章

本課程系列文章可進入索引查看：
深度學習基礎課系列文章索引

回顧相關課程內容

• 第三節課：全連接層的前向和后向傳播推導（上）
  • 神經元計算公式為什么要向量化？
  • 向量化后神經元的計算公式是什么？

主問題：如何推導全連接層的前向傳播？

為什么要學習全連接層？

• 什么情況下需要增加輸入層的神經元個數？
  答：需要增加特征的值的個數的時候
• 什么情況下需要增加隱藏層的神經元個數？
  答：需要增加神經網絡的擬合能力，從而更快速的收斂的時候。
  因為隱藏層的神經元個數越多，權重數量就越多，方程的解的范圍就越多，所以擬合能力就越強
• 什么情況下需要增加輸出層的神經元個數？
  答：需要增加輸出的值的個數的時候
• 什么情況下需要增加更多的隱藏層？
  答：需要大幅增加神經網絡的擬合能力的時候，可參考如何確定神經網絡的層數和隱藏層神經元數量

因此，本課推廣判斷性別Demo的三層神經網絡為全連接層神經網絡

主問題：如何推導全連接層的前向傳播？

• 什么是全連接層？
  答：
  輸入層、輸出層各只有一層，隱藏層可以有任意多層；
  每層有任意多的神經元

我們仍然以三層神經網絡為例來推導前向傳播

• 前向傳播算法是什么？
  答：從隱藏層開始，依次計算每層神經元的輸出，直到輸出層結束
• 隱藏層的前向傳播計算公式是什么？
  答：
• 如何推導向量化？
  答：
• 輸出層的前向傳播計算公式是什么？
  答：
• 如何推導向量化？
  答：

任務：實現全連接層的前向傳播

• 請實現全連接層的前向傳播的代碼
  答：待實現的代碼：NeuralNetwork_forward
  實現后的代碼：NeuralNetwork_forward_answer
• 使用判斷性別Demo的神經網絡結構，運行代碼
  
  答：運行代碼如下所示：

let state = createState(2, 2, 1)

let feature = {
  weight: 50.,
  height: 150.,
}

forward(state, feature)->Js.log