摘要： Deep Learning學習筆記:Deep learning：五十一(CNN的反向求導及練習)Deep learning：五十(Deconvolution Network簡單理解)Deep learning：四十九(RNN-RBM簡單理解)Deep learning：四十八(Contractive... 閱讀全文

摘要： 好吧，已經有半年沒有動筆寫博客了，一是畢業季事情比較多沒時間寫，既要寫畢業論文、又要學車、還得關注Machine Learning的進展，時不時的惡補一些數學；二是這階段都是比較泛的學一些東西，沒有什么可記錄的；第三點當然就是寫博文的動力不足；連很多網友在博客下面的留言也沒來得及回復，非常抱歉... 閱讀全文

摘要： 前言： 本次實驗是用EM來學習HMM中的參數，并用學好了的HMM對一些kinect數據進行動作分類。實驗內容請參考coursera課程：Probabilistic Graphical Models 中的的最后一個assignmnet.實驗用的是kinect關節點數據，由于HMM是一個時序模型，且含有隱變量，所以這個實驗不是很好做。大家對HMM不熟悉的話可以參考網友的實驗:code. kinect人體關節數據中， 每個關節點由3個坐標數據構成，多個關節點數據(實驗中為10個)構成一個pose,多個pose構成一個action，每個action所包含的pose個數可能不等。其示意圖如下：　... 閱讀全文

摘要： 前言： 本次實驗包含了2部分：貝葉斯模型參數的學習以及貝葉斯模型結構的學習，在前面的博文PGM練習七：CRF中參數的學習 中我們已經知道怎樣學習馬爾科夫模型(CRF)的參數，那個實驗采用的是優化方法，而這里貝葉斯模型參數的學習是先假定樣本符合某種分布，然后使用統計的方法去學習這些分布的參數，來達到學習模型參數的目的。實驗內容請參考coursera課程：Probabilistic Graphical Models中的assignmnet 8,實驗code可參考網友的:code 實驗中所用到的body pose表現形式如下： 共有10個節點，每個節點由2個坐標變量和1個方向變量構成。... 閱讀全文

摘要： 前言： 本次實驗主要任務是學習CRF模型的參數，實驗例子和PGM練習3中的一樣，用CRF模型來預測多張圖片所組成的單詞，我們知道在graph model的推理中，使用較多的是factor，而在graph model參數的學習中，則使用較多的是指數線性模型，本實驗的CRF使用的是log-linear模型，實驗內容請參考coursera課程：Probabilistic Graphical Models中的assignmnet 7. 實驗code可參考網友的:code實驗對應的模型示意圖如下： CRF參數求解過程： 本實驗中CRF模型所表示的條件概率計算公式為: 其中的分母為劃分函... 閱讀全文

摘要： 前言： 本次實驗是將一些簡單的決策理論和PGM推理結合,實驗內容相對前面的圖模型推理要簡單些。決策理論采用的是influence diagrams，和常見圖模型本質一樣，其中的決策節點也可以用CPD來描述，做決策時一般是采用最大期望效用準則(MEU)。實驗內容參考參考的內容是coursera課程：Probabilistic Graphical Models中的assignment 5. 實驗code可參考網友的:code. 實驗中一些函數簡單說明： Fnew = VariableElimination(F, Z): 給定factorlist F和需要消除的變量集Z，采用sum-pr... 閱讀全文

摘要： 前言： 這次練習完成的是圖模型的近似推理，參考的內容是coursera課程：Probabilistic Graphical Models.上次實驗PGM練習四：圖模型的精確推理 中介紹的是圖模型的精確推理，但在大多數graph上，其精確推理是NP-hard的，所以有必要采用計算上可行的近似推理... 閱讀全文

摘要： 前言： 這次實驗完成的是圖模型的精確推理。exact inference分為2種，求邊緣概率和求MAP，分別對應sum-product和max-sum算法。這次實驗涉及到的知識點很多，不僅需要熟悉圖模型的representation，而且還需明白圖模型的inference理論，大家可參考cou... 閱讀全文

摘要： 前言： 接著coursera課程：Probabilistic Graphical Models上的實驗3，本次實驗是利用馬爾科夫網絡(CRF模型)來完成單詞的OCR識別，每個單詞由多個字母組合，每個字母為16×8大小的黑白圖片。本次實驗簡化了很多內容，不需要我們去學這些參數(已提供)，不需要掌握推理的方法(也提供了)，目的是讓大家對CRF模型有個感性認識。馬爾科夫網絡相比貝葉斯網絡的優點就是不用自己去確定那些太明確結構(比如說那些因果關系)。 matlab基礎知識： n = norm(X)： 計算X的誘導2范數。如果X為向量，則n為它的歐式距離。如果X為矩陣，則n為X的最大特征值。. 閱讀全文

摘要： 前言： 這是coursera課程：Probabilistic Graphical Models 上的第二個實驗，主要是用貝葉斯網絡對基因遺傳問題進行一些計算。具體實驗內容可參考實驗指導教材：bayes network for genetic inheritance. 大家可以去上面的鏈接去下載實驗材料和stard code，如實驗內容有難以理解的地方，歡迎私底下討論。下面是隨便寫的一些筆記。 完成該實驗需要了解一些遺傳方面的簡單知識，可參考：Introduction to heredity(基因遺傳簡單介紹) 關于實驗的一些約定和術語： 同位基因(也叫等位基因)中有一個顯現基因（d... 閱讀全文

摘要： 前言： CNN作為DL中最成功的模型之一，有必要對其更進一步研究它。雖然在前面的博文Stacked CNN簡單介紹中有大概介紹過CNN的使用，不過那是有個前提的：CNN中的參數必須已提前學習好。而本文的主要目的是介紹CNN參數在使用bp算法時該怎么訓練，畢竟CNN中有卷積層和下采樣層，雖然和M... 閱讀全文

摘要： 深度網絡結構是由多個單層網絡疊加而成的，而常見的單層網絡按照編碼解碼情況可以分為下面3類：既有encoder部分也有decoder部分：比如常見的RBM系列（由RBM可構成的DBM, DBN等），autoencoder系列(以及由其擴展的sparse autoencoder, denoise a... 閱讀全文

摘要： 前言： 本文主要是bengio的deep learning tutorial教程主頁中最后一個sample：rnn-rbm in polyphonic music. 即用RNN-RBM來model復調音樂，訓練過程中采用的是midi格式的音頻文件，接著用建好的model來產生復調音樂。對音樂建模的難點在與每首樂曲中幀間是高度時間相關的（這樣樣本的維度會很高），用普通的網絡模型是不能搞定的（普通設計網絡模型沒有考慮時間維度，圖模型中的HMM有這方面的能力），這種情況下可以采用RNN來處理，這里的RNN為recurrent neural network中文為循環神經網絡，另外還有一種RNN為... 閱讀全文

摘要： Contractive autoencoder是autoencoder的一個變種，其實就是在autoencoder上加入了一個規則項，它簡稱CAE（對應中文翻譯為？）。通常情況下，對權值進行懲罰后的autoencoder數學表達形式為： 這是直接對W的值進行懲罰的，而今天要講的CAE其數學表達式同樣非常簡單，如下： 其中的是隱含層輸出值關于權重的雅克比矩陣，而 表示的是該雅克比矩陣的F范數的平方，即雅克比矩陣中每個元素求平方 然后求和，更具體的數學表達式為： 關于雅克比矩陣的介紹可參考雅克比矩陣&行列式——單純的矩陣和算子，關于F范數可參考我前面的博文Sparse ... 閱讀全文

摘要： CNN中卷積完后有個步驟叫pooling, 在ICLR2013上，作者Zeiler提出了另一種pooling手段(最常見的就是mean-pooling和max-pooling)，叫stochastic pooling，在他的文章還給出了效果稍差點的probability weighted pooling方法。 stochastic pooling方法非常簡單，只需對feature map中的元素按照其概率值大小隨機選擇，即元素值大的被選中的概率也大。而不像max-pooling那樣，永遠只取那個最大值元素。 假設feature map中的pooling區域元素值如下： 3*3大小... 閱讀全文

摘要： 和maxout(maxout簡單理解)一樣，DropConnect也是在ICML2013上發表的，同樣也是為了提高Deep Network的泛化能力的，兩者都號稱是對Dropout(Dropout簡單理解)的改進。 我們知道，Dropout是在訓練過程中以一定概率1-p將隱含層節點的輸出值清0，而用bp更新權值時，不再更新與該節點相連的權值。用公式描述如下： 其中v是n*1維的列向量，W是d*n維的矩陣，m是個d*1的01列向量，a(x)是一個滿足a(0)=0的激發函數形式。這里的m和a(Wv)相乘是對應元素的相乘。 而DropConnect的思想也很簡單，與Dropout不同的是... 閱讀全文

摘要： maxout出現在ICML2013上，作者Goodfellow將maxout和dropout結合后，號稱在MNIST, CIFAR-10, CIFAR-100, SVHN這4個數據上都取得了start-of-art的識別率。 從論文中可以看出，maxout其實一種激發函數形式。通常情況下，如果激發函數采用sigmoid函數的話，在前向傳播過程中，隱含層節點的輸出表達式為： 其中W一般是2維的，這里表示取出的是第i列，下標i前的省略號表示對應第i列中的所有行。但如果是maxout激發函數，則其隱含層節點的輸出表達式為： 這里的W是3維的，尺寸為d*m*k，其中d表示輸入層節... 閱讀全文

摘要： 前言： 聽說Pylearn2是個蠻適合搞深度學習的庫，它建立在Theano之上，支持GPU(估計得以后工作才玩這個，現在木有這個硬件條件)運算，由DL大牛Bengio小組弄出來的，再加上Pylearn2里面已經集成了一部分常見的DL算法，本著很想讀讀這些算法的源碼和細節這一想法，打算學習下Pylearn2的使用. 網上這方面的中文資料簡直是太少了，雖然本博文沒什么實質內容，但也寫貼出來，說不定可以幫到一些初學者。 從Bengio的一篇paper: Pylearn2: a machine learning research library可以看出，Pylearn2主要是針對機器學習開發者... 閱讀全文

摘要： 前言： 找工作時（IT行業），除了常見的軟件開發以外，機器學習崗位也可以當作是一個選擇，不少計算機方向的研究生都會接觸這個，如果你的研究方向是機器學習/數據挖掘之類，且又對其非常感興趣的話，可以考慮考慮該崗位，畢竟在機器智能沒達到人類水平之前，機器學習可以作為一種重要手段，而隨著科技的不斷發展... 閱讀全文

摘要： 前言： 找工作需要，最近看了下一些C++的基本概念，為范磊的《零起點學通C++》，以下是一些筆記。 內容： delete p;只是刪除指針p指向內存區，并不是刪除指針p，所以p還是可以用的。刪除空指針所指向內存是可以的。 堆中的變量和對象時匿名的，沒有名稱，只能通過指針來訪問。 在堆中創建對象時，在分配內存的同時會調用類的構造函數，在刪除堆中對象時，會調用類的析構函數。 為了避免內存泄露，在刪除一個指針后應該將其其值賦為0。 常量指針是指針指向的內存區域地址不能改變，但是該內存地址里保存的值是可以改變的，比如int a; int * const p = &a; 指向常量的... 閱讀全文

摘要： 沒有系統學過數學優化，但是機器學習中又常用到這些工具和技巧，機器學習中最常見的優化當屬凸優化了，這些可以參考Ng的教學資料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，從中我們可以大致了解到一些凸優化的概念，比如凸集，凸函數，凸優化問題，線性規劃，二次規劃，二次約束二次規劃，半正定規劃等，從而對凸優化問題有個初步的認識。以下是幾個重要相關概念的筆記。 凸集的定義為： 其幾何意義表示為：如果集合C中任意2個元素連線上的點也在集合C中，則C為凸集。其示意圖如下所示： 常見的凸集有： n維實數空間；一些范數約束形式的集合；... 閱讀全文

摘要： 為了對GMM-HMM在語音識別上的應用有個宏觀認識，花了些時間讀了下HTK（用htk完成簡單的孤立詞識別）的部分源碼，對該算法總算有了點大概認識，達到了預期我想要的。不得不說，網絡上關于語音識別的通俗易懂教程太少，都是各種公式滿天飛，很少有說具體細節的，當然了，那需要有實戰經驗才行。下面總結以下幾點，對其有個宏觀印象即可（以孤立詞識別為例）。 一、每個單詞的讀音都對應一個HMM模型，大家都知道HMM模型中有個狀態集S，那么每個狀態用什么來表示呢，數字？向量？矩陣？其實這個狀態集中的狀態沒有具體的數學要求，只是一個名稱而已，你可以用’1’, ’2’, ‘3’…表示，也可以用’a’, ‘b’... 閱讀全文

摘要： 最近在看圖模型中著名的HMM算法，對應的一些理論公式也能看懂個大概，就是不太明白怎樣在一個具體的機器學習問題（比如分類，回歸）中使用HMM，特別是一些有關狀態變量、觀察變量和實際問題中變量的對應關系，因此目前急需一個實際例子來加深對HMM算法的仰慕，大家如有好的例子來具體學HMM算法的話，歡迎分享！眾所周知，著名的HMM開源庫為Hidden Markov Model Toolkit（以下簡稱HTK），而HTK在語音識別領域應用很成功，這2天花了些時間學習了HTK的使用，完成的是最簡單孤立詞的識別，即Yes、No的語音識別，網上這方面的教程縱多，見參考資料部分。 當然了，進行實驗的前提是正... 閱讀全文

摘要： 目前，深度網絡（Deep Nets）權值訓練的主流方法還是梯度下降法（結合BP算法），當然在此之前可以用無監督的方法（比如說RBM，Autoencoder）來預訓練參數的權值，而梯度下降法應用在深度網絡中的一個缺點是權值的迭代變化值會很小，很容易收斂到的局部最優點；另一個缺點是梯度下降法不能很好的處理有病態的曲率（比如Rosenbrock函數）的誤差函數。而本文中所介紹的Hessian Free方法（以下簡稱HF）可以不用預訓練網絡的權值，效果也還不錯，且其適用范圍更廣（可以用于RNN等網絡的學習），同時克服了上面梯度下降法的那2個缺點。HF的主要思想類似于牛頓迭代法，只是并沒有顯示的去計.. 閱讀全文

摘要： 數學優化方法在機器學習算法中至關重要，本篇博客主要來簡單介紹下Conjugate Gradient(共軛梯度法，以下簡稱CG)算法，內容是參考的文獻為：An Introduction to the Conjugate Gradient Method Without the Agonizing Pain，具體細節大家還需仔細閱讀那篇文章，這篇博客并不是重現那篇論文的內容，只是簡單的梳理下CG算法的流程，以及它的重要思路，方便大家理解CG算法。 首先我們需要解決的問題是：求滿足線性方程(1)：的解x. 那么有人就這么認為了：這個解x不就是嗎？對，這樣說也不能算錯，但是如果A不可逆那么x這樣... 閱讀全文

摘要： 前言： 當采用無監督的方法分層預訓練深度網絡的權值時，為了學習到較魯棒的特征，可以在網絡的可視層（即數據的輸入層）引入隨機噪聲，這種方法稱為Denoise Autoencoder(簡稱dAE)，由Bengio在08年提出，見其文章Extracting and composing robust features with denoising autoencoders.使用dAE時，可以用被破壞的輸入數據重構出原始的數據（指沒被破壞的數據），所以它訓練出來的特征會更魯棒。本篇博文主要是根據Benigio的那篇文章簡單介紹下dAE，然后通過2個簡單的實驗來說明實際編程中該怎樣應用dAE。這2個... 閱讀全文

摘要： 前言 訓練神經網絡模型時，如果訓練樣本較少，為了防止模型過擬合，Dropout可以作為一種trikc供選擇。Dropout是hintion最近2年提出的，源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意為：通過阻止特征檢測器的共同作用來提高神經網絡的性能。本篇博文就是按照這篇論文簡單介紹下Dropout的思想，以及從用一個簡單的例子來說明該如何使用dropout。 基礎知識： Dropout是指在模型訓練時隨機讓網絡某些隱含層節點的權重不工作，不工作的那些節點可以暫... 閱讀全文

摘要： 單鏈表的逆序方法有很多種，求職過程中會碰到類似的題。比如進棧出棧；變量鏈表放入數組后利用數組的逆序重構鏈表；遍歷鏈表時每次訪問的節點都指向它的前節點；遞歸調用等。本次實驗是用遞歸的方法實現單鏈表的逆序，網上有很多類似的code. 這次實驗主要要注意的是指針引用的使用，要充分理解引用是個別名，指針的引用可以參考其它網友的一篇博文：指針的引用 實驗內容是先構造一個隨機指定長度的單鏈表，將其輸出，然后逆序后輸出。 代碼如下：// reverse_list.cpp : 定義控制臺應用程序的入口點。//#include "stdafx.h"#include #include #inc 閱讀全文

摘要： 頭腦一熱，坐幾十個小時的硬座北上去天津大學去聽了門4天的深度學習課程，課程預先的計劃內容見：http://cs.tju.edu.cn/web/courseIntro.html。上課老師為微軟研究院的大牛——鄧力，群（qq群介紹見：Deep learning高質量交流群）里面有人戲稱鄧力（拼音簡稱DL）老師是天生注定能夠在DL（Deep learning）領域有所成就的，它的個人主頁見：http://research.microsoft.com/en-us/people/deng/。這次我花費這么大的力氣參加這個課程，是期望能達到3個目的的：一、把DL中一些常見基礎算法弄明白，特別是跟能量模.. 閱讀全文

摘要： 前言： 節主要是給出BST，AVL和紅黑樹的C++代碼，方便自己以后的查閱，其代碼依舊是data structures and algorithm analysis in c++ (second edition)一書的作者所給，關于這3中二叉樹在前面的博文算法設計和數據結構學習_4(《數據結構和問題求解》part4筆記)中已經有所介紹。這里不會去詳細介紹它們的實現和規則，一是因為這方面的介紹性資料超非常多，另外這3種樹的難點都在插入和刪除部分，其規則本身并不多，但是要用文字和圖形解釋其實還蠻耗時的。所以，我們在看教程時，主要是要抓住這幾種樹的思想，然后對照對應的代碼來看就ok了，能把代碼... 閱讀全文

摘要： 前言： 高斯過程回歸(GPR)和貝葉斯線性回歸類似，區別在于高斯過程回歸中用核函數代替了貝葉斯線性回歸中的基函數（其實也是核函數，線性核）。采用核函數可以定義高斯過程回歸是一個比貝葉斯線性回歸更通用的模型，應用非常廣泛。本文參考的資料為視頻http://www.youtube.com/playlist?list=PLD0Z06AA0D2E8ZZBA中相關的部分以及論文Gaussian Processes for Regression A Quick Introduction. 基礎知識： 首先來看看Bayesian linear regression（貝葉斯線性回歸）模型： 其... 閱讀全文

摘要： 前言： GP（高斯過程）是一種自然界中普遍存在且重要的隨機過程，也叫正態隨機過程，在ML等領域應用比較廣泛。本次實驗目的是簡單理解下GP，特別是要體驗到GP的一個sample不再是一個普通的點，而是一個函數。實驗部分完成了常見的GP的一維和二維sample的顯示，常見的GP有線性GP，布朗運動... 閱讀全文

摘要： 前言： 數據結構這種東西，快速看了也只能概念上多理解了點，關鍵還是后續實踐中的使用。好吧，本節依舊是data structures and algorithm analysis in c++ (second edition)中的筆記蜓點水般的筆記，書中第4部分的筆記，第3部分內容暫時先跳過（那是一些具體的應用例子）。本次的內容有棧和隊列，鏈表，樹，搜索二叉樹，hash表,二叉堆。其中的隊列，鏈表比較簡單，樹，二叉堆和hash表比較難。 Chap16: 如果類的數據成員是first-class(比如vector)的，則針對它的Big-Three會自動實現，不需要再去完成它。如果要實現c... 閱讀全文

摘要： 前言： 本節是data structures and algorithm analysis in c++ (second edition)中第2大部分的隨手筆記，主要內容有算法復雜度分析，標準模板庫介紹，遞歸思想和算法，常見的排序算法及其分析，隨機數產生器和隨機算法等。 Chap6: 一個算法的復雜度與輸入數據量的大小，算法本身，編譯器優化性能，所運行機器硬件的性能，算法本身等因素相關。從這些方面來看，即使是已經確定的2個算法F和G，我們也不能說2個算法的運行時間永遠滿足F(N)=G(N). 一是當N比較小時，兩者的相差太小以至于感覺不出來，二是當N大到一定程度時，F(N)和G(N)... 閱讀全文

摘要： 前言： C++，數據結構，算法，這些知識在互聯網行業求職過程中是必備的，而本科電路硬件出身的我這些基本就沒學過，也用得比較少，為了以后的飯碗，從現在開始還是花點時間來看下這些東西吧。本節是mark allen Weiss數據結構書籍data structures and algorithm analysis in c++ (second edition)中第一大部分的筆記(隨手寫的，供自己以后參考)，這部分主要是講解一些C++的知識，比如面向對象概念，繼承，多態，重載，虛函數，模板，設計模式等等。 Chap1： 本章主要是講一些array，string，struct，pointer的... 閱讀全文

摘要： 前言： 這次的內容是Ng關于machine learning關于svm部分的一些筆記。以前也學過一些svm理論，并且用過libsvm，不過這次一聽Ng的內容，確實收獲不少，隱約可以看到從logistic model到svm model的過程。 基礎內容： 使用linear模型進行分類時，可以將參數向量看成一個變量，如果代價函數用MSE表示，則代價函數的圖形類似拋物線（以新的變量為自變量）；如果代價函數用交叉對數公式表示時，則其代價函數曲線如下： 在Logistic回歸中其代價函數可以表示為如下： 其中第一項是訓練樣本的誤差，第二項是權值系數的懲罰項，λ為權值懲罰系數，其中... 閱讀全文

摘要： 前言： 以前在coursera上選過一門PGM的課（概率圖模型），今天上去才發現4月份已經開課了，6月份就要結束了，雖然最近沒什么時間，擠一點算一點，所以得抓緊時間學下。另外因為報名這些課程的時候，開課老師是不允許將課程資料和code貼在網上的，所以作為學生還是要聽從老師的要求，所以這個系列的筆記只是簡單的寫下，完全留給自己看的，內容估計不會很完整的。 筆記： 模型的表示其來源可以由相應領域的專家給出，也可以直接從數據中學習到。如下所示： 模型的準確性具有不確定性主要是因為：對現實世界的描述不全面；觀察到的數據有噪聲；模型只是體現大部分的數據，對某些特例不會考慮；模型固有的不確... 閱讀全文

摘要： 前言： 本次主要是練習下ICA模型，關于ICA模型的理論知識可以參考前面的博文：Deep learning：三十三(ICA模型)。本次實驗的內容和步驟可以是參考UFLDL上的教程：Exercise:Independent Component Analysis。本次實驗完成的內容和前面的很多練習類似，即學習STL-10數據庫的ICA特征。當然了，這些數據已經是以patches的形式給出，共2w個patch，8*8大小的。 實驗基礎： 步驟分為下面幾步：設置網絡的參數，其中的輸入樣本的維數為8*8*3=192。對輸入的樣本集進行白化，比如說ZCA白化，但是一定要將其中的參數eplison... 閱讀全文

摘要： 前言： 本節主要是來簡單介紹下stacked CNN（深度卷積網絡），起源于本人在構建SAE網絡時的一點困惑：見Deep learning：三十六(關于構建深度卷積SAE網絡的一點困惑)。因為有時候針對大圖片進行recognition時，需要用到無監督學習的方法去pre-training（預訓練）stacked CNN的每層網絡，然后用BP算法對整個網絡進行fine-tuning（微調），并且上一層的輸出作為下一層的輸入。這幾句話說起來很簡單，可是真的這么容易嗎？對于初學者來說，在實際實現這個流程時并不是那么順利，因為這其中要涉及到很多細節問題。這里不打算細講deep statcked網... 閱讀全文

摘要： 最近Deep Learning特別火，但是發現網上很少有專門針對DL討論的論壇等，所以交流起來特別不方便。獨學而無友，則孤陋而寡聞，本人剛開始接觸DL，菜鳥一枚，希望和各位志同道合的朋友多多交流，特建立了一個Deep Learning高質量交流qq群，歡迎加入，群號為：209306058（大家加入群時需驗證，請用一句話簡單說下你對DL的認識，以防亂加，哈哈，謝謝！） 規定（必須執行） 1. 杜絕不文明言論 2. 嚴禁廣告 3. 嚴禁跑題 引導（參考執行） 1. 群中討論的內容 為了保證群內交流的質量請大家盡量討論Deep Learning為主的算法，以及與其相關的ML,DM,... 閱讀全文

摘要： 內容： 本文主要是參考論文：On optimization methods for deep learning，文章內容主要是筆記SGD（隨機梯度下降），LBFGS（受限的BFGS），CG（共軛梯度法）三種常見優化算法的在deep learning體系中的性能。下面是一些讀完的筆記。 SGD優點：實現簡單，當訓練樣本足夠多時優化速度非常快。 SGD缺點：需要人為調整很多參數，比如學習率，收斂準則等。另外，它是序列的方法，不利于GPU并行或分布式處理。 各種deep learning中常見方法（比如說Autoencoder，RBM，DBN，ICA，Sparse coding）的區別是... 閱讀全文