大數據算法工程師的自耕地

該文被密碼保護。 閱讀全文

摘要： 所謂排列，是指從給定的元素序列中依次取出元素，需要考慮取出順序。比如，取出元素3, 5，因取出順序的不同，則形成的序列{3, 5}與{5, 3}是不同的排列序列。對于長度為n的元素序列取出k個元素，則共有A(n, k)種取法。所謂組合，也是從元素序列中依次取出元素，與排列不同的是不需要考慮取出順序； 閱讀全文

摘要： 文章標題借用了Hawstein的譯文《 "動態規劃：從新手到專家" 》。 1. 概述 動態規劃（ Dynamic Programming, DP）是最優化問題的一種解決方法，本質上狀態空間的狀態轉移。所謂狀態轉移是指每個階段的最優狀態（對應于子問題的解）可以從之前的某一個或幾個階段的狀態中得到，這個 閱讀全文

摘要： 1. 問題 Kaggle上有一個圖像分類比賽 "Digit Recognizer" ，數據集是大名鼎鼎的 "MNIST" ——圖片是已分割 (image segmented)過的28 28的灰度圖，手寫數字部分對應的是0~255的灰度值，背景部分為0。 手寫數字圖片是長這樣的： 手寫數字識別可以看做 閱讀全文

該文被密碼保護。 閱讀全文

摘要： 1. 什么是新詞 現在大部分的分詞工具已經做到了準確率高、粒度細，但是對于一些新詞（new word）卻不能做到很好地識別，比如： 快的打車優惠券 英雄聯盟怎么不可以打排位 “快的”、“英雄聯盟”應該被作為一個詞，卻被切成了兩個詞，失去了原有的語義。未登錄詞（out of vocabulary, O 閱讀全文

摘要： 1. 排序 排序（sort）是一種常見的算法，把數據根據特定的順序進行排列。經典的排序算法如下： 冒泡排序（bubble sort） 插入排序（insertion sort） 選擇排序（selection sort） 快速排序（quick sort） 堆排序（heap sort） 歸并排序（merg 閱讀全文

摘要： 從2014年8月開始在博客園寫博客，~~至今已經積累了82篇~~，集中在機器學習、NLP、數據結構與算法、大數據、編程語言等方面。在此做個總結，以后還會陸續更新…… 1. 機器學習 【十大經典數據挖掘算法】系列： 1. "C4.5" 2. "K Means" 3. "SVM" 4. "Apriori 閱讀全文

摘要： 1. 介紹 "thulac4j" 是THULAC的Java 8工程化實現，具有分詞速度快、準、強的特點；支持 自定義詞典 繁體轉簡體 停用詞過濾 若想在項目中使用thulac4j，可添加依賴： thulac4j支持中文分詞與詞性標注，使用示例如下： 模型數據較大，沒有放在jar包與源碼。訓練模型下載 閱讀全文

摘要： 1. 鏈表 數組是一種順序表，index與value之間是一種順序映射，以\(O(1)\)的復雜度訪問數據元素。但是，若要在表的中間部分插入（或刪除）某一個元素時，需要將后續的數據元素進行移動，復雜度大概為\(O(n)\)。鏈表（Linked List）是一種鏈式表，克服了上述的缺點，插入和刪除操作 閱讀全文

摘要： 1. 數組 直觀地看，數組（Array）為一個二元組``的集合——對于每一個index，都有一個value與之對應。C語言中，以“連續的存儲單元”實現數組： 數組提供以$O(1)$的復雜度訪問元素，下標從0開始。但是，數組的插入、刪除操作卻非常耗時，因為這涉及到了元素間的移動。 常見的矩陣，可用二維 閱讀全文

摘要： 我準備開始一個新系列【LeetCode題解】，用來記錄刷題，順便復習一下數據結構與算法。 1. 二叉樹 二叉樹（binary tree）是一種極為普遍的數據結構，樹的每一個節點最多只有兩個節點——左孩子結點與右孩子結點。C實現的二叉樹： struct TreeNode { int val; stru 閱讀全文

該文被密碼保護。 閱讀全文

摘要： CRUD(Create, Retrieve, Update, Delete)是數據庫系統的四種基本操作，分別表示創建、查詢、更改、刪除，俗稱“增刪改查”。Elasticsearch作為NoSQL數據庫（雖然ES是為搜索引擎而生的，但我更愿意將其看作帶有強大文本搜索功能的NoSQL）。 以下示例基于E 閱讀全文

摘要： 1. 引言 Airflow是 "Airbnb" 開源的一個用Python寫就的工作流管理平臺（workflow management platform）。在 "前一篇文章" 中，介紹了如何用Crontab管理數據流，但是缺點也是顯而易見。針對于Crontab的缺點，靈活可擴展的Airflow具有以下 閱讀全文

摘要： 1. 引言 眾所周知，Oozie（ "1" , "2" ）是基于時間條件與數據生成來做工作流調度的，但是Oozie的數據觸發條件只支持HDFS路徑，故而面臨著這樣的問題： 無法判斷Hive partition是否已存在； 無法判斷Elasticsearch index是否已寫入完成； ... 因此， 閱讀全文

摘要： MySQL的數據類型主要分為三大類： 1. 數值型（Numeric Type） 2. 日期與時間型（Date and Time Type） 3. 字符串類型（String Type） 1. 數值 MySQL的數值類型按照精確程度，大致可以分為兩類： 精確數值（Exact Value），包括INTEG 閱讀全文

摘要： 1. 引言 在做OLAP數據分析時，常常會遇到過濾分析需求，比如：除去只有性別、常駐地標簽的用戶，計算廣告媒體上的覆蓋UV。OLAP解決方案Kylin不支持復雜數據類型（array、struct、map），要求 "數據輸入Schema必須是平鋪" 的，但是平鋪后丟失了用戶的聚合標簽信息，而沒有辦法判 閱讀全文

摘要： 看了《 "從數據角度解析福州美食" 》后難免心癢，動了要分析合肥餐飲業的念頭，因此特地寫了 "Node.js爬蟲" 爬取了合肥的大眾點評數據。分析數據庫我并沒有采用MySQL而是用的MongoDB，是因為爬取的數據存在字段缺失的情況（schema不一致）。 1. 數據準備 MongoDB簡介 不同于 閱讀全文

摘要： 大眾點評上有很多美食餐館的信息，正好可以拿來練練手Node.js。 1. API分析 大眾點評開放了查詢商家信息的API， "這里" 給出了城市與cityid之間的對應關系，鏈接 以GET方式給出了餐館的信息（JSON格式）。首先解釋下GET參數的含義： start為步進數，表示分步獲取信息的ind 閱讀全文