摘要：
結構化概率模型 結構化概率模型(Structured Probabilistic model)，就是利用圖論(graph theory)中的圖來表示概率分布中相互之間作用的隨機變量的關系。深度學習經常面對的問題是如何理解具有豐富結構的高維數據的問題，例如圖片、語音、文本等等。除了經典的分類問題如圖像 閱讀全文
posted @ 2025-07-31 17:39
sky_darkeen
閱讀(16)
評論(0)
推薦(0)
摘要：
表示學習 這一章聚焦表示學習(Representation Learning)及其應用，主要內容有無監督及有監督預訓練的作用，遷移學習及分布式表示。機器學習的主要問題就是如何更合理高效的將特征表示出來。怎么判定某種表示更好呢，這需要具體問題具體分析，這通常依賴于后續的學習任務是否能夠得益于這種表示。 閱讀全文
posted @ 2025-07-31 17:36
sky_darkeen
閱讀(40)
評論(0)
推薦(0)
摘要：
自編碼器 自編碼器(Autoencoder)是一種特定的神經網絡結構，其目的是為了將輸入信息映射到某個更低維度的空間，生成包含重要特征的編碼code，這部分稱為Encoder，可用函數 \(h=f(x)\) 表示， 然后再利用Decoder將code重構成為盡量能還原原輸入的結果，用函數 \(r=g 閱讀全文
posted @ 2025-07-31 17:30
sky_darkeen
閱讀(97)
評論(0)
推薦(0)
摘要：
線性因子模型 線性因子 之前總結的方法大部分是在 有大量數據情況下的監督學習方法，而假如我們想減小數據量的要求，則需要一些無監督學習及半監督學習方法，雖然有很多無監督學習方法，但是目前還無法達到深度學習在監督學習問題中所達到的精度，這常常是由于我們需要解決的問題的維度過高或計算量過大造成的。 無監督 閱讀全文
posted @ 2025-07-31 17:28
sky_darkeen
閱讀(18)
評論(0)
推薦(0)
摘要：
深度學習應用簡述 硬件 首先，深度學習的成功應用離不開硬件的發展。GPU由于其高內存帶寬，非常適合需要存儲很多參數、激活值及梯度值的神經網絡，而且許多神經網絡可以并行運算，GPU在這方面也優于CPU，而GPU相對于CPU有較低的時鐘速度及處理復雜計算的劣勢，由于大部分神經網絡單元并不需要復雜邏輯運算 閱讀全文
posted @ 2025-07-31 17:10
sky_darkeen
閱讀(12)
評論(0)
推薦(0)
摘要：
循環神經網絡 這一章主要介紹了循環神經網絡(Recurrent neural network, 簡稱RNN)，主要用來處理序列數據，比如一些文字序列或時序數據。對于這類數據，基本的前饋神經網絡會對每一個輸入的特征都訓練一個單獨的參數，而不能很好的進行參數的共享，而RNN就可以通過對不同時間點的特征共 閱讀全文
posted @ 2025-07-31 17:08
sky_darkeen
閱讀(14)
評論(0)
推薦(0)
摘要：
卷積神經網絡 這一章主要介紹了卷積神經網絡(convolutional neural network，簡稱CNN)，它通常適用于具有網格狀結構的數據，例如時序數據可看做是在特定時間間 隔上的一維網格，圖像可以看做是像素構成的二維網格，醫學成像如CT等為三維網格數據。 基本介紹 卷積神經網絡，顧名思義 閱讀全文
posted @ 2025-07-31 16:51
sky_darkeen
閱讀(16)
評論(0)
推薦(0)
摘要：
批處理化 批處理化作為及其重要的優化技術，在此給出詳細的筆記記錄。 Batch Normalization(批處理化) Batch Normalization作為最近一年來DL的重要成果，已經廣泛被證明其有效性和重要性。花書對于BN的介紹較為模糊，是從抽象的數學角度進行解釋的，我認為其并沒有寫出BN 閱讀全文
posted @ 2025-07-31 16:49
sky_darkeen
閱讀(14)
評論(0)
推薦(0)
摘要：
批量梯度下降 本文主要介紹了在深度學習優化中遇到的問題以及解決方法，在此簡要地記錄核心的部分。 Stochastic Gradient Descent（隨機梯度下降） 在數值計算中，書本介紹了Gradient Descent算法，但是在實際使用中，梯度下降計算梯度時需要利用所有的數據樣本，其優點是這 閱讀全文
posted @ 2025-07-31 16:45
sky_darkeen
閱讀(25)
評論(0)
推薦(0)
摘要：
正則化 總體來說，一部分正則化方法使給模型施加額外的限制條件，例如限制參數值范圍，有些會在目標函數中添加一些額外懲罰項，本質上也是希望限制參數值。有的時候，這些限制條件或懲罰項代表了特定的先驗經驗，有的時候是希望避免模型過于復雜。正則化常常會增加一些bias但同時會減少variance，好的正則化方 閱讀全文
posted @ 2025-07-31 16:36
sky_darkeen
閱讀(31)
評論(0)
推薦(0)
摘要：
前饋神經網絡 簡介 前饋神經網絡 (Deep feedforward network) 可以說是深度學習最核心的模型之一。前饋神經網絡的目的是對于輸入 \(x\) ，假設我們要模擬從輸入到輸出的真實函數 \(f^*\) ，神經網絡想要找到這樣的映射 \(y=f(x ; \theta)\) 和合適的參 閱讀全文
posted @ 2025-07-31 16:22
sky_darkeen
閱讀(54)
評論(0)
推薦(0)
摘要：
機器學習基礎 模型容量，欠擬合，過擬合參數化 訓練機器學習模型的目的不僅僅是可以描述已有的數據，而且是對末知的新數據也可以做出較好的推測，這種推廣到新數據的能力稱作泛化(generalization)。我們稱在訓練集上的誤差為訓練誤差 (training error)，而在新的數據上的誤差的期望稱為 閱讀全文
posted @ 2025-07-31 16:15
sky_darkeen
閱讀(8)
評論(0)
推薦(0)
摘要：
十一章 方差和回歸分析 該筆記基于書本《統計推斷》，筆記省略部分均可在該書上找到對應的詳細解釋。 11.1 前言 方差分析(常簡記為 ANOVA) 是得到最廣泛應用的統計技術之一. ANOVA 的基本思想, 即變異的分解, 是試驗統計學的一個重要思想. 要說明的是, 方差分析實際上并不關心方差的分析 閱讀全文
posted @ 2025-07-31 15:56
sky_darkeen
閱讀(29)
評論(0)
推薦(0)
摘要：
第十章 相合估計 該筆記基于書本《統計推斷》，筆記省略部分均可在該書上找到對應的詳細解釋。 在之前的幾章中，主要討論的內容在于如何求取點估計值以及檢驗區間，同時通過檢驗區間的反轉來構建置信區間的方法。但是對于一些統計量，其分布較為特殊，沒有辦法給出具體的分布函數。此時，我們很難對該統計量進行統計推斷 閱讀全文
posted @ 2025-07-31 15:55
sky_darkeen
閱讀(53)
評論(0)
推薦(0)
摘要：
第九章 區間估計 該筆記基于書本《統計推斷》，筆記省略部分均可在該書上找到對應的詳細解釋。 本章將從第八章的假設檢驗中的LRT入手，再到給出置信區間的自然求解公式。這一個過程符合直覺，且與6，7，8，9章的知識緊密結合。 9.1 前言 ? 在第七章中我們學習了如何求解參數 \(\theta\) 的點 閱讀全文
posted @ 2025-07-31 15:54
sky_darkeen
閱讀(41)
評論(0)
推薦(0)
浙公網安備 33010602011771號