大家好~我開設了“深度學習基礎班”的線上課程，帶領同學從0開始學習全連接和卷積神經網絡，進行數學推導，并且實現可以運行的Demo程序

線上課程資料：
本節課錄像回放
加QQ群，獲得ppt等資料，與群主交流討論：106047770

本系列文章為線上課程的復盤，每上完一節課就會同步發布對應的文章

本文為第三節課：“全連接層的前向和后向傳播推導（上）”的復盤文章

本課程系列文章可進入索引查看：
深度學習基礎課系列文章索引

回顧相關課程內容

• 第二節課： “判斷性別”Demo需求分析和初步設計
  • Demo的需求是什么？
  • 如何實現需求？
  • 前向傳播算法是什么？
  • 隨機梯度下降算法是什么？

為什么要學習本課？

• 權重、偏移的數量太多，導致前向傳播和梯度求導的計算很臃腫，如何優化？
• 如果增加隱藏層中的神經元數量，是否會修改前向傳播的計算公式？
  • 如何才能不修改公式，只調整參數即可？
• 如何擴展判斷性別Demo的三層神經網絡，從而處理更多的輸入參數和輸出數據？
  

主問題：向量化

為什么要向量化？

• 一個神經元的輸出的計算公式是什么？
  答：

• 如果增加輸入參數，那么：

  • 如何修改計算公式？
  • 計算公式（計算代碼）保持不變，只需要改變配置參數即可？

主問題：向量化

• 向量化后的計算公式是什么？
  答：

• 如何向量化偏移b？
  答：

• 增加輸入參數的話需要改變公式嗎？
  答：不需要改變公式，而是改變權重向量和輸入向量的元素個數、新增元素的值

任務：實現向量化

• 請將神經元的forward函數改為向量化
  答：待修改的代碼：Neural_vector
  修改后的代碼：Neural_vector_answer

• 運行代碼，通過測試
  答：運行修改前和修改后的代碼，輸出結果一樣，從而通過了測試