整體背景 本文實現了在colab環境下基于tf-nightly-gpu的BERT中文多分類，如果你在現階段有實現類似的功能的需求，相信這篇文章會給你帶來一些幫助。 準備工作 1.環境： 硬件環境： 直接使用谷歌提供的免費訓練環境colab，選擇GPU 軟件環境： tensorflow：tensorf Read More
posted @ 2020-01-22 16:21
玄天妙地
Views(4592)
Comments(5)
Diggs(0)
轉載并翻譯Jay Alammar的一篇博文：Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention) 原文鏈接：https://jalammar.github.io/visu Read More
posted @ 2019-11-28 11:11
玄天妙地
Views(1218)
Comments(0)
Diggs(0)
LCS和萊文斯坦距離的解決思路非常類似，都是利用動態規劃的方式來解決。可以參見上一篇“萊文斯坦距離”，兩個概念對比著看理解為更深入！ LCS定義 同樣引用百科： 最長公共子序列（LCS）是一個在一個序列集合中（通常為兩個序列）用來查找所有序列中最長子序列的問題。與查找最長公共子串的問題不同的地方是： Read More
posted @ 2020-08-29 16:42
玄天妙地
Views(4677)
Comments(0)
Diggs(0)
編輯距離定義與分類 編輯距離的定義，直接引用百科： 編輯距離是針對二個字符串的差異程度的量化量測，量測方式是看至少需要多少次的處理才能將一個字符串變成另一個字符串。 編輯距離可以用在自然語言處理中，例如拼寫檢查可以根據一個拼錯的字和其他正確的字的編輯距離，判斷哪一個或幾個是比較可能的字。 DNA也可 Read More
posted @ 2020-08-25 20:07
玄天妙地
Views(2934)
Comments(0)
Diggs(0)
這一篇比較簡單，就不展開記錄了，方差和標準差的計算方法記住了就可以。 另外，記得標準差和方差都是衡量樣本集中程度的，方差或標準差越大，樣本越向兩邊離散；方差或標準差越小，樣本越向mean集中。 標準差在對稱分布下面，有幾個在統計學上非常有用的數字：68%，95%，99.7%，意思是： 用median Read More
posted @ 2019-08-09 16:58
玄天妙地
Views(913)
Comments(0)
Diggs(0)
介紹箱線圖之前，需要先介紹若干個其需要的術語 min：整個樣本的最小值 max：整個樣本的最大值 Range：即整個樣本的取值范圍，Range = max - min Inter-Quartile Range (IQR)：四分之一range，即通過取3次中位數（median），將整個range分成四 Read More
posted @ 2019-08-09 16:15
玄天妙地
Views(1298)
Comments(0)
Diggs(0)
莖葉圖的只做方法如下： 舉個例子：我們有一份奧斯卡影后的年齡集合： 34 34 27 37 42 41 36 32 41 33 31 74 33 49 38 61 21 41 26 80 42 29 33 36 45 49 39 34 26 25 33 35 35 28 30 29 61 32 33 Read More
posted @ 2019-08-09 15:52
玄天妙地
Views(1157)
Comments(0)
Diggs(0)
單個定量變量的直方圖表示 大家知道，定量變量是連續型變量，即不會像分類變量那樣有明顯的分類，那么如何將其畫成直方圖呢？一般來說，會將其按照某個維度來將其分組（group），舉個例子。 我們有15個學生的考試成績：88, 48, 60, 51, 57, 85, 69, 75, 97, 72, 71, Read More
posted @ 2019-08-09 15:22
玄天妙地
Views(1924)
Comments(0)
Diggs(0)
這個系列的隨筆，起源于工作中遇到的問題：拿到一份試驗數據后，該如何分析其內容并得到有價值的結論？ 一般說來，某個產品在上線之前，都會在小范圍內做實驗，看看用戶對產品新功能/新樣式的反映如何，實驗的結論會產出很多體現用戶反映的各種維度、各種指標的數據，而且量級都比較大（可能幾萬個甚至十幾萬個值）。那么 Read More
posted @ 2019-08-08 11:01
玄天妙地
Views(772)
Comments(0)
Diggs(0)
探索性數據分析（Exploratory Data Analysis） 本節課程先從統計分析四步驟中的第二步：EDA開始。 課程定義了若干個術語，如果學習過機器學習的同學，應該很容易類比理解： population：上節課說過，整體數據集合被稱作population individual：其中每個個體 Read More
posted @ 2019-08-07 22:32
玄天妙地
Views(814)
Comments(0)
Diggs(0)
浙公網安備 33010602011771號