cutd

摘要： 本人親測可用 目錄 安裝前準(zhǔn)備 安裝過程 機(jī)器配置 騰訊云服務(wù)器 ubuntu server 16.10 1.首先要在服務(wù)器上安裝gui及相關(guān)依賴 sudo apt get install ubuntu desktop sudo ln s /lib64/x86_64 linux gnu/libc.s 閱讀全文

摘要： 簡單聊聊Storm的流分組策略 首先我要強調(diào)的是，Storm的分組策略對結(jié)果有著直接的影響，不同的分組的結(jié)果一定是不一樣的。其次，不同的分組策略對資源的利用也是有著非常大的不同，本文主要講一講localOrShuffle這個分組對資源利用的重大改善。最后，不同的分組對項目的邏輯也起著至關(guān)重要的決定， 閱讀全文

摘要： 寫在前面的話 本人長期關(guān)注數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)相關(guān)前沿研究。歡迎和我交流。 我自己測試了一下這個版本，總的來說更加穩(wěn)定，新增的特性并沒有一一測試，僅憑kafk client來說，是達(dá)到了生產(chǎn)環(huán)境的使用。 使用阿里云服務(wù)器的話，使用清華的節(jié)點下載是巨快的。(http://mirrors.tuna.tsi 閱讀全文

摘要： Spark結(jié)構(gòu)式流編程指南 概覽 Structured Streaming 是一個可拓展，容錯的，基于Spark SQL執(zhí)行引擎的流處理引擎。使用小量的靜態(tài)數(shù)據(jù)模擬流處理。伴隨流數(shù)據(jù)的到來，Spark SQL引擎會逐漸連續(xù)處理數(shù)據(jù)并且更新結(jié)果到最終的Table中。你可以在Spark SQL上引擎上使 閱讀全文

摘要： Unsupported major.minor version 52.0錯誤一般是因為應(yīng)用程序需要JDK8而ubuntu默認(rèn)的是jdk7，所以需要切換到j(luò)dk8才能解決這個問題。 由于無法直接從oracle下載二進(jìn)制文件，所以本文使用PPA方式安裝。 添加PPA 安裝java安裝器 驗證是否安裝成功 閱讀全文

摘要： Linux ubuntu 中文設(shè)置最佳實踐。親測最簡潔最方便。 閱讀全文

摘要： postgresql 設(shè)置只讀用戶 ` CREATE USER readonly WITH ENCRYPTED PASSWORD 'ropass'; alter user readonly set default_transaction_read_only=on; GRANT USAGE ON SC 閱讀全文

摘要： postgresql pgsql最新版安裝指南及數(shù)據(jù)存儲路徑更改及主從配置 安裝指南 1. 首先在apt的list添加你當(dāng)前系統(tǒng)版本對應(yīng)的apt列表 目前官網(wǎng)有16.04,14.04,12.04 分別對應(yīng)下面的xenial，xenial，precise 根據(jù)對應(yīng)系統(tǒng)復(fù)制下面的repo到pgdg.li 閱讀全文

摘要： scrapy note command 全局命令: startproject ：在 project_name 文件夾下創(chuàng)建一個名為 project_name 的Scrapy項目。 settings：在項目中運行時，該命令將會輸出項目的設(shè)定值，否則輸出Scrapy默認(rèn)設(shè)定。 runspider：在未創(chuàng) 閱讀全文

摘要： Storm Windowing 簡介 Storm可同時處理窗口內(nèi)的所有tuple。窗口可以從時間或數(shù)量上來劃分，由如下兩個因素決定： 窗口的長度，可以是時間間隔或Tuple數(shù)量； 滑動間隔(sliding Interval)，可以是時間間隔或Tuple數(shù)量； 要確保topo的過期時間大于窗口的大小加 閱讀全文