Poll的筆記

摘要： 上一篇博文的內(nèi)容整理了我們?nèi)绾稳ソ苾r(jià)值函數(shù)或者是動(dòng)作價(jià)值函數(shù)的方法： $$ V_{\theta}(s)\approx V^{\pi}(s) \\ Q_{\theta}(s)\approx Q^{\pi}(s, a) $$ 通過(guò)機(jī)器學(xué)習(xí)的方法我們一旦近似了價(jià)值函數(shù)或者是動(dòng)作價(jià)值函數(shù)就可以通過(guò)一些策略 閱讀全文

摘要： 為什么需要值函數(shù)近似？ 之前我們提到過(guò)各種計(jì)算值函數(shù)的方法，比如對(duì)于 MDP 已知的問(wèn)題可以使用 Bellman 期望方程求得值函數(shù)；對(duì)于 MDP 未知的情況，可以通過(guò) MC 以及 TD 方法來(lái)獲得值函數(shù)，為什么需要再進(jìn)行值函數(shù)近似呢？ 其實(shí)到目前為止，我們介紹的值函數(shù)計(jì)算方法都是通過(guò)查表的方式獲取 閱讀全文

摘要： 上篇總結(jié)了 Model Free Predict 問(wèn)題及方法，本文內(nèi)容介紹 Model Free Control 方法，即 "Optimise the value function of an unknown MDP"。 在這里說(shuō)明下，Model Free Predict/Control 不僅適用于 閱讀全文

摘要： 上篇文章介紹了 Model based 的通用方法——?jiǎng)討B(tài)規(guī)劃，本文內(nèi)容介紹 Model Free 情況下 Prediction 問(wèn)題，即 "Estimate the value function of an unknown MDP"。 Model based：MDP已知，即轉(zhuǎn)移矩陣和獎(jiǎng)賞函數(shù)均已知 閱讀全文

摘要： 動(dòng)態(tài)規(guī)劃 動(dòng)態(tài)規(guī)劃（Dynamic Programming，簡(jiǎn)稱(chēng)DP）是一種通過(guò)把原問(wèn)題分解為相對(duì)簡(jiǎn)單的子問(wèn)題的方式求解復(fù)雜問(wèn)題的方法。 動(dòng)態(tài)規(guī)劃常常適用于具有如下性質(zhì)的問(wèn)題： 具有最優(yōu)子結(jié)構(gòu)（Optimal substructure） Principle of optimality applies 閱讀全文

摘要： 在介紹馬爾可夫決策過(guò)程之前，我們先介紹下情節(jié)性任務(wù)和連續(xù)性任務(wù)以及馬爾可夫性。 情節(jié)性任務(wù) vs. 連續(xù)任務(wù) 情節(jié)性任務(wù)（Episodic Tasks），所有的任務(wù)可以被可以分解成一系列情節(jié)，可以看作為有限步驟的任務(wù)。 連續(xù)任務(wù)（Continuing Tasks），所有的任務(wù)不能分解，可以看作為無(wú)限 閱讀全文

摘要： 隨著AlphaGo和AlphaZero的出現(xiàn)，強(qiáng)化學(xué)習(xí)相關(guān)算法在這幾年引起了學(xué)術(shù)界和工業(yè)界的重視。最近也翻了很多強(qiáng)化學(xué)習(xí)的資料，有時(shí)間了還是得自己動(dòng)腦筋整理一下。 強(qiáng)化學(xué)習(xí)定義 先借用維基百科上對(duì)強(qiáng)化學(xué)習(xí)的標(biāo)準(zhǔn)定義： 強(qiáng)化學(xué)習(xí)（Reinforcement Learning，簡(jiǎn)稱(chēng)RL）是機(jī)器學(xué)習(xí)中的一 閱讀全文

摘要： Cross-entropy Method（簡(jiǎn)稱(chēng)CEM）雖然是一種基于交叉熵的算法，但并不是我們熟知的監(jiān)督學(xué)習(xí)中的交叉熵方法，與其說(shuō)它是一種基于交叉熵的算法，倒不如說(shuō)是一種基于蒙特卡洛和進(jìn)化策略的算法。CEM算法不僅可以用作評(píng)估，也可以作為一種有效的優(yōu)化算法，與進(jìn)化算法（EAs）類(lèi)似CEM是一種完全免 閱讀全文

摘要： 在總結(jié)正則化（Regularization）之前，我們先談一談?wù)齽t化是什么，為什么要正則化。 個(gè)人認(rèn)為正則化這個(gè)字眼有點(diǎn)太過(guò)抽象和寬泛，其實(shí)正則化的本質(zhì)很簡(jiǎn)單，就是對(duì)某一問(wèn)題加以先驗(yàn)的限制或約束以達(dá)到某種特定目的的一種手段或操作。在算法中使用正則化的目的是防止模型出現(xiàn)過(guò)擬合。一提到正則化，很多同學(xué)可 閱讀全文

摘要： 深度學(xué)習(xí)的基本原理是基于人工神經(jīng)網(wǎng)絡(luò)，輸入信號(hào)經(jīng)過(guò)非線性的active function，傳入到下一層神經(jīng)元；再經(jīng)過(guò)下一層神經(jīng)元的activate，繼續(xù)往下傳遞，如此循環(huán)往復(fù)，直到輸出層。正是因?yàn)檫@些active functions的堆砌，深度學(xué)習(xí)才被賦予了解決非線性問(wèn)題的能力。當(dāng)然，僅僅靠acti 閱讀全文

摘要： 了解LR的同學(xué)們都知道，LR采用了最小化交叉熵或者最大化似然估計(jì)函數(shù)來(lái)作為Cost Function，那有個(gè)很有意思的問(wèn)題來(lái)了，為什么我們不用更加簡(jiǎn)單熟悉的最小化平方誤差函數(shù)（MSE）呢？ 我個(gè)人理解主要有三個(gè)原因： MSE的假設(shè)是高斯分布，交叉熵的假設(shè)是伯努利分布，而邏輯回歸采用的就是伯努利分布； 閱讀全文

摘要： 好久沒(méi)有更新blog了，最近抽時(shí)間看了Nielsen的《Neural Networks and Deep Learning》感覺(jué)小有收獲，分享給大家。 了解深度學(xué)習(xí)的同學(xué)可能知道，目前深度學(xué)習(xí)面臨的一個(gè)問(wèn)題就是在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中存在梯度消失問(wèn)題（vanishing gradient problem） 閱讀全文

摘要： 簡(jiǎn)單總結(jié)一下機(jī)器學(xué)習(xí)最常見(jiàn)的兩個(gè)函數(shù)，一個(gè)是logistic函數(shù)，另一個(gè)是softmax函數(shù)，若有不足之處，希望大家可以幫忙指正。本文首先分別介紹logistic函數(shù)和softmax函數(shù)的定義和應(yīng)用，然后針對(duì)兩者的聯(lián)系和區(qū)別進(jìn)行了總結(jié)。 1. logistic函數(shù) 1.1 logistic函數(shù)定義 閱讀全文

摘要： 目前，深度學(xué)習(xí)（Deep Learning，簡(jiǎn)稱(chēng)DL）在算法領(lǐng)域可謂是大紅大紫，現(xiàn)在不只是互聯(lián)網(wǎng)、人工智能，生活中的各大領(lǐng)域都能反映出深度學(xué)習(xí)引領(lǐng)的巨大變革。要學(xué)習(xí)深度學(xué)習(xí)，那么首先要熟悉神經(jīng)網(wǎng)絡(luò)（Neural Networks，簡(jiǎn)稱(chēng)NN）的一些基本概念。當(dāng)然，這里所說(shuō)的神經(jīng)網(wǎng)絡(luò)不是生物學(xué)的神經(jīng)網(wǎng)絡(luò) 閱讀全文

摘要： 1. 寫(xiě)在前面 在機(jī)器學(xué)習(xí)(Machine learning)領(lǐng)域，監(jiān)督學(xué)習(xí)(Supervised learning)、非監(jiān)督學(xué)習(xí)(Unsupervised learning)以及半監(jiān)督學(xué)習(xí)(Semi-supervised learning)是三類(lèi)研究比較多，應(yīng)用比較廣的學(xué)習(xí)技術(shù)，wiki上對(duì)這三種 閱讀全文

摘要： 聲明：本博客整理自博友@zhouyong計(jì)算廣告與機(jī)器學(xué)習(xí)－技術(shù)共享平臺(tái)，尊重原創(chuàng)，歡迎感興趣的博友查看原文。 聲明：本博客整理自博友@zhouyong計(jì)算廣告與機(jī)器學(xué)習(xí)－技術(shù)共享平臺(tái)，尊重原創(chuàng)，歡迎感興趣的博友查看原文。 寫(xiě)在前面 記得在《Pattern Recognition And Machi 閱讀全文

摘要： 聲明：本博客整理自博友@zhouyong計(jì)算廣告與機(jī)器學(xué)習(xí)－技術(shù)共享平臺(tái)，尊重原創(chuàng)，歡迎感興趣的博友查看原文。 符號(hào)定義 聲明：本博客整理自博友@zhouyong計(jì)算廣告與機(jī)器學(xué)習(xí)－技術(shù)共享平臺(tái)，尊重原創(chuàng)，歡迎感興趣的博友查看原文。 符號(hào)定義 這里定義《深入淺出ML》系列中涉及到的公式符號(hào)，如無(wú)特殊 閱讀全文

摘要： 1. 什么是 LCSs？ 什么是 LCSs? 好多博友看到這幾個(gè)字母可能比較困惑，因?yàn)檫@是我自己對(duì)兩個(gè)常見(jiàn)問(wèn)題的統(tǒng)稱(chēng)，它們分別為最長(zhǎng)公共子序列問(wèn)題（Longest-Common-Subsequence）和最長(zhǎng)公共子串（Longest-Common-Substring）問(wèn)題。這兩個(gè)問(wèn)題非常的相似，所以 閱讀全文

摘要： 深度學(xué)習(xí)掀開(kāi)了機(jī)器學(xué)習(xí)的新篇章，目前深度學(xué)習(xí)應(yīng)用于圖像和語(yǔ)音已經(jīng)產(chǎn)生了突破性的研究進(jìn)展。深度學(xué)習(xí)一直被人們推崇為一種類(lèi)似于人腦結(jié)構(gòu)的人工智能算法，那為什么深度學(xué)習(xí)在語(yǔ)義分析領(lǐng)域仍然沒(méi)有實(shí)質(zhì)性的進(jìn)展呢？ 引用三年前一位網(wǎng)友的話(huà)來(lái)講： “Steve Renals算了一下icassp錄取文章題目中包含de 閱讀全文

摘要： 考慮一個(gè)二分問(wèn)題，即將實(shí)例分成正類(lèi)（positive）或負(fù)類(lèi)（negative）。對(duì)一個(gè)二分問(wèn)題來(lái)說(shuō)，會(huì)出現(xiàn)四種情況。如果一個(gè)實(shí)例是正類(lèi)并且也被 預(yù)測(cè)成正類(lèi)，即為真正類(lèi)（True positive）,如果實(shí)例是負(fù)類(lèi)被預(yù)測(cè)成正類(lèi)，稱(chēng)之為假正類(lèi)（False positive）。相應(yīng)地，如果實(shí)例是負(fù)類(lèi)被預(yù) 閱讀全文