多層感知機MLP

1. MLP （multilayer perceptron）

2. 結(jié)構(gòu)和組成

• 輸入層： 接收原始數(shù)據(jù)輸入，不進行任何計算處理。
• 隱藏層： 至少包含一個隱藏層，用于對輸入數(shù)據(jù)進行復(fù)雜的非線性轉(zhuǎn)換。每個隱藏層中的神經(jīng)元都與前一層和后一層的所有神經(jīng)元完全連接，因此MLP也被稱為全連接網(wǎng)絡(luò)。
• 輸出層： 負責(zé)產(chǎn)生網(wǎng)絡(luò)的最終預(yù)測結(jié)果，如分類標簽或回歸值。
  

3.工作原理

1. 前向傳播： 輸入數(shù)據(jù)從輸入層開始，逐層向前傳播。每個神經(jīng)元會將其輸入的加權(quán)和通過一個非線性激活函數(shù)（如ReLU、Sigmoid或Tanh）進行轉(zhuǎn)換，然后將結(jié)果傳遞給下一層。
2. 反向傳播： 網(wǎng)絡(luò)的前向傳播得到預(yù)測結(jié)果后，計算預(yù)測值與真實值之間的損失或誤差。反向傳播算法會計算每一層網(wǎng)絡(luò)對總誤差的貢獻，并利用梯度下降等優(yōu)化算法來更新神經(jīng)元之間的連接權(quán)重和偏置，以減小誤差。
3. 學(xué)習(xí)和迭代： 這個前向傳播和反向傳播的過程會反復(fù)進行，直到模型的性能達到預(yù)設(shè)標準。通過這種方式，MLP能夠從數(shù)據(jù)中學(xué)習(xí)復(fù)雜的模式和關(guān)系。
   

• 非線性能力： 單層感知機只能處理線性可分的問題，而MLP通過引入隱藏層和非線性激活函數(shù)，能夠處理更加復(fù)雜的非線性分類和回歸問題。
• 解決異或問題： 一個典型的例子是，單層感知機無法解決異或（XOR）問題，而一個具有單個隱藏層的MLP就可以輕松解決。 

• 圖像分類： 處理和分類一些相對簡單的圖像數(shù)據(jù)集。
• 信號處理： 用于時間序列分析和模式識別。
• 自然語言處理（NLP）： 在文本分類等簡單任務(wù)中發(fā)揮作用。
• 表格數(shù)據(jù)處理： 對表格數(shù)據(jù)進行分類和回歸預(yù)測。 

• 對數(shù)據(jù)結(jié)構(gòu)不敏感： MLP對輸入數(shù)據(jù)的空間或時間結(jié)構(gòu)不敏感。在處理圖像時，它會將每個像素作為獨立的輸入，丟失了圖像的空間信息。
• 計算量大： 對于高維數(shù)據(jù)，全連接的結(jié)構(gòu)會導(dǎo)致參數(shù)數(shù)量急劇增加，從而增加計算復(fù)雜度和訓(xùn)練時間。
• 難以捕獲全局信息： 在某些任務(wù)中（如高級圖像分析），由于缺乏特殊的結(jié)構(gòu)設(shè)計，MLP很難像卷積神經(jīng)網(wǎng)絡(luò)（CNN）那樣有效地捕獲全局上下文信息。