自然語言處理（五）深度學習

1、tips

1、行業基準：用詞袋模型表示句子，用SVM或LR做回歸，用自己的模型和它做對比
2、分詞：啟發式或機器學習（HMM，CRF）
3、深度學習是端到端的

2、Auto-Encoder

可將語料編碼化，降維降噪

3、CNN

機器自動學習卷積濾鏡

用word2vec將一句話處理成一個矩陣，用CNN

案例：文本—>(預處理、TF-IDF、word2vec) —>詞向量—>(LR、SVM、LSTM)—>標簽

4、RNN—>LSTM

通過遺忘門、記憶門等控制。例如，異或就是遺忘，和1相與就是記憶等。

遺忘還是記憶是機器自己學習的。

另外還有更新門和輸出門

案例：用于判斷生成下一個詞、句子、單詞、圖片等。

總結：AE用于壓縮問題；CNN用于文本分類；RNN用于文本生成