摘要： 理論：參考鏈接 Beta分布是二項式分布的共軛先驗分布，而狄利克雷(Dirichlet)分布是多項式分布的共軛分布。 共軛的意思是，以Beta分布和二項式分布為例，數據符合二項分布的時候，參數的先驗分布和后驗分布都能保持Beta分布的形式，這種形式不變的好處是，我們能夠在先驗分布中賦予參數很明確的物 閱讀全文

摘要： 一、句法分析 參考鏈接1，參考鏈接2 將順序輸入的句子輸出成樹形符合句子結構的非線性數據結構。 CFG 現在一般都是用seq2seq模型來做的。 PCFG，在每個語法后面標注使用這個語法的概率： 使用PCFG計算每棵樹的score，用來選擇最好的那棵樹。 如果枚舉所有的樹去找概率，計算量太大，指數級 閱讀全文

摘要： 一、Word2Vec： 參考學習鏈接 1.需要具備的基礎知識： - 哈夫曼樹、哈夫曼編碼（變長編碼，高頻距離root近） - 【統計語言模型】N-gram模型（這里模型表示的下標和上標表示起始和終止，表示第k個單詞被假設只和其前n-1個單詞相關，也就是【k-(n-1)一直到k-1】） 傳統的方法需要 閱讀全文

摘要： 優化與正則 網絡優化難點，改善方法 一、優化與正則 優化：經驗風險最小 正則化：降低模型復雜度 （1）網絡優化 a.網絡優化難點： 結構差異大 沒有通用的優化算法 超參數多 非凸優化問題 參數初始化 逃離局部最優（鞍點） 梯度消失（爆炸）問題 b.神經網絡優化的改善方法： 更有效的優化算法來提高優化 閱讀全文

摘要： 首先要感謝《谷歌高暢Leetcode刷題筆記》的作者，本系列文章的發表是基于他的C++版本提出的python版本，并且添加一些自己的總結。 貪心算法? 貪心算法的思想就是，每一步最優就可以達到全局最優。 貪心，顧名思義，就是每一步都很貪心，也就是每一步都按照它認為可以達到最優的方法進行。 練習題一 閱讀全文

摘要： 前饋網絡/全連接/多層感知機/有向無環圖； 常見激活函數； 并行； 前饋神經網絡； 計算梯度的方法； 靜態/動態計算圖； 卷積網絡； 不同卷積核提取不同特征； 經典卷積結構； 循環網絡； RNN入門； 經典結構； 一、前饋網絡 （1）常見激活函數【前面是表達式，后面是評論】 【非0中心化，并且是指數 閱讀全文

摘要： 邏輯回歸； 感知機； 損失函數； 邏輯回歸 1.表達式：（δ為logistic函數） 2.交叉熵： 交叉熵是按照概率分布q的最優編碼對真實分布為p的信息進行編碼的長度。 如果 p和 𝑞 越接近，交叉熵越小； 3.KL散度 KL散度是用概率分布q來近似p時所造成的信息損失量。 4.數據中（因為真實分 閱讀全文

摘要： 正則化； 線性函數的概率角度推導； 先驗分布決定的Loss函數； 有監督，無監督，增強學習； 資源鏈接 兩種正則化（損害優化）： （1）增加優化約束L1,L2 （2）干擾優化過程：權重衰減，隨機梯度下降，提前終止（我們使用一個驗證集（Validation Dataset）來測試每一次迭代的參數在驗證 閱讀全文

摘要： 數組基本操作參考：http://www.rzrgm.cn/tdskee/p/6912681.html 其中比較經常忘記的是list.index(),list.remove,list.extend() 補充：pop(index)可以彈出第index個元素(從0開始) 復制數組（如果直接賦值a= 閱讀全文