1. 感知機

若干二進制輸入X1,X2,X3...,權重W1,W2,W3...

若∑jWjXj <= 閾值 輸出 = 0 

若∑jWjXj > 閾值 輸出 = 1

 可以把偏置看作對讓感知機輸出 1（類似于生物學上的“激活感受器”）難易程度的估算

logistic 函數

 sigmoid 神經元

 e約等于2.718281828

z = W*X + b

假設z是一個很大的正數，那么exp(-z)約等于0而sigmoid約等于1，如同感知機。相反，假設z是一個很小的負數，那么 exp(-z)約等于∞且sigmoid約等于0。所以，當 z是一個很小的負數時，sigmoid 神經元的行為也近似于感知機.

神經網絡的架構

例如嘗試確定一幅手寫數字圖像上寫的是“9”。我們自然會想到對圖像像素的灰度進行編碼，作為輸入神經元來設計神經網絡。如果圖像是一幅 64×64 的灰度圖像，那么會需要 4096（64×64）個輸入神經元，每個灰度在 0 和 1 之間取合適的值。輸出層只需要包含一個神經元，當輸出值小于 0.5 時表示“輸入圖像不是9”，大于 0.5 的值則表示“輸入圖像是 9”。