摘要：
結構化概率模型 結構化概率模型(Structured Probabilistic model)，就是利用圖論(graph theory)中的圖來表示概率分布中相互之間作用的隨機變量的關系。深度學習經(jīng)常面對的問題是如何理解具有豐富結構的高維數(shù)據(jù)的問題，例如圖片、語音、文本等等。除了經(jīng)典的分類問題如圖像 閱讀全文
posted @ 2025-07-31 17:39
sky_darkeen
閱讀(16)
評論(0)
推薦(0)
摘要：
表示學習 這一章聚焦表示學習(Representation Learning)及其應用，主要內(nèi)容有無監(jiān)督及有監(jiān)督預訓練的作用，遷移學習及分布式表示。機器學習的主要問題就是如何更合理高效的將特征表示出來。怎么判定某種表示更好呢，這需要具體問題具體分析，這通常依賴于后續(xù)的學習任務是否能夠得益于這種表示。 閱讀全文
posted @ 2025-07-31 17:36
sky_darkeen
閱讀(40)
評論(0)
推薦(0)
摘要：
自編碼器 自編碼器(Autoencoder)是一種特定的神經(jīng)網(wǎng)絡結構，其目的是為了將輸入信息映射到某個更低維度的空間，生成包含重要特征的編碼code，這部分稱為Encoder，可用函數(shù) \(h=f(x)\) 表示， 然后再利用Decoder將code重構成為盡量能還原原輸入的結果，用函數(shù) \(r=g 閱讀全文
posted @ 2025-07-31 17:30
sky_darkeen
閱讀(97)
評論(0)
推薦(0)
摘要：
線性因子模型 線性因子 之前總結的方法大部分是在 有大量數(shù)據(jù)情況下的監(jiān)督學習方法，而假如我們想減小數(shù)據(jù)量的要求，則需要一些無監(jiān)督學習及半監(jiān)督學習方法，雖然有很多無監(jiān)督學習方法，但是目前還無法達到深度學習在監(jiān)督學習問題中所達到的精度，這常常是由于我們需要解決的問題的維度過高或計算量過大造成的。 無監(jiān)督 閱讀全文
posted @ 2025-07-31 17:28
sky_darkeen
閱讀(18)
評論(0)
推薦(0)
摘要：
深度學習應用簡述 硬件 首先，深度學習的成功應用離不開硬件的發(fā)展。GPU由于其高內(nèi)存帶寬，非常適合需要存儲很多參數(shù)、激活值及梯度值的神經(jīng)網(wǎng)絡，而且許多神經(jīng)網(wǎng)絡可以并行運算，GPU在這方面也優(yōu)于CPU，而GPU相對于CPU有較低的時鐘速度及處理復雜計算的劣勢，由于大部分神經(jīng)網(wǎng)絡單元并不需要復雜邏輯運算 閱讀全文
posted @ 2025-07-31 17:10
sky_darkeen
閱讀(12)
評論(0)
推薦(0)
摘要：
循環(huán)神經(jīng)網(wǎng)絡 這一章主要介紹了循環(huán)神經(jīng)網(wǎng)絡(Recurrent neural network, 簡稱RNN)，主要用來處理序列數(shù)據(jù)，比如一些文字序列或時序數(shù)據(jù)。對于這類數(shù)據(jù)，基本的前饋神經(jīng)網(wǎng)絡會對每一個輸入的特征都訓練一個單獨的參數(shù)，而不能很好的進行參數(shù)的共享，而RNN就可以通過對不同時間點的特征共 閱讀全文
posted @ 2025-07-31 17:08
sky_darkeen
閱讀(14)
評論(0)
推薦(0)
摘要：
卷積神經(jīng)網(wǎng)絡 這一章主要介紹了卷積神經(jīng)網(wǎng)絡(convolutional neural network，簡稱CNN)，它通常適用于具有網(wǎng)格狀結構的數(shù)據(jù)，例如時序數(shù)據(jù)可看做是在特定時間間 隔上的一維網(wǎng)格，圖像可以看做是像素構成的二維網(wǎng)格，醫(yī)學成像如CT等為三維網(wǎng)格數(shù)據(jù)。 基本介紹 卷積神經(jīng)網(wǎng)絡，顧名思義 閱讀全文
posted @ 2025-07-31 16:51
sky_darkeen
閱讀(16)
評論(0)
推薦(0)
摘要：
批處理化 批處理化作為及其重要的優(yōu)化技術，在此給出詳細的筆記記錄。 Batch Normalization(批處理化) Batch Normalization作為最近一年來DL的重要成果，已經(jīng)廣泛被證明其有效性和重要性。花書對于BN的介紹較為模糊，是從抽象的數(shù)學角度進行解釋的，我認為其并沒有寫出BN 閱讀全文
posted @ 2025-07-31 16:49
sky_darkeen
閱讀(14)
評論(0)
推薦(0)
摘要：
批量梯度下降 本文主要介紹了在深度學習優(yōu)化中遇到的問題以及解決方法，在此簡要地記錄核心的部分。 Stochastic Gradient Descent（隨機梯度下降） 在數(shù)值計算中，書本介紹了Gradient Descent算法，但是在實際使用中，梯度下降計算梯度時需要利用所有的數(shù)據(jù)樣本，其優(yōu)點是這 閱讀全文
posted @ 2025-07-31 16:45
sky_darkeen
閱讀(25)
評論(0)
推薦(0)
摘要：
正則化 總體來說，一部分正則化方法使給模型施加額外的限制條件，例如限制參數(shù)值范圍，有些會在目標函數(shù)中添加一些額外懲罰項，本質(zhì)上也是希望限制參數(shù)值。有的時候，這些限制條件或懲罰項代表了特定的先驗經(jīng)驗，有的時候是希望避免模型過于復雜。正則化常常會增加一些bias但同時會減少variance，好的正則化方 閱讀全文
posted @ 2025-07-31 16:36
sky_darkeen
閱讀(31)
評論(0)
推薦(0)
浙公網(wǎng)安備 33010602011771號