技術即藝術

摘要： ####1.flink CEP描述 CEP(Complex Event Processing)就是在無界事件流中檢測事件模式，使能夠掌握數據中重要的部分。 ####2.flink CEP編程的四個步驟 1>.輸入數據流的創建 2>.模式(Pattern)定義 3>.Pattern應用在事件流上的檢測 閱讀全文

摘要： ####1.Spark JVM參數優化設置 Spark JVM的參數優化設置適用于Spark的所有模塊，包括SparkSQL、SparkStreaming、SparkRdd及SparkML，主要設置以下幾個值： spark.yarn.driver.memoryOverhead #driver端最大的 閱讀全文

摘要： ####1.說明 druid支持獲取數據種類較多，包括本地離線數據，hdfs數據和kafka實時流數據。在實際基于hadoop生態系統的大數據開發應用中，獲取hdfs數據和kafka流式數據較為常見。本篇文檔著重說明獲取kafka和hdfs數據的實例。 想要獲取什么樣類型的數據，就需要在配置文件配置 閱讀全文

摘要： ####1.節點服務規劃 master:coordinator,overlord slave1:historical,middle_manager slave2:router,broker ####2.下載安裝包解壓 從druid官網(https://druid.apache.org/downloa 閱讀全文

摘要： ###1.服務器信息 192.168.195.136 master 192.168.195.137 slave1 192.168.195.139 slave2 ###2.主要配置 ####第一步 上傳es安裝包到master節點的指定的目錄，這里安裝版本是elasticsearch-5.3.3 解壓 閱讀全文

摘要： ###1.大數據架構 說明： 1.該大數據平臺采用的阿里云服務器，所以在集群部署和運維上會減少很多工作量 2.主題的計算引擎采用Spark，部分有Flink 3.數據挖掘主要是應用python的一些挖掘框架，模型比如詞袋模型和一些常見的nlp算法 4.任務調度是自研的諸葛大數據調度平臺 閱讀全文

摘要： ###1.數據治理系統架構 說明： 1.Flume采用的三個client實時監控三個服務器的磁盤路徑，七個server提高負載均衡和拉取數據的能力，采用load_balance機制將數據Sink到kafka，其中source zip方式flume官方不支持，需要開發自定義source 2.對于歷史數 閱讀全文

摘要： 1.寫在前面 在利用spark計算引擎將kafka或其他源數據組件的數據入hive形成數倉的過程中有兩種方式，一種方式是利用spark Rdd的API將數據寫入hdfs形成hdfs文件，之后再將文件和hdfs文件和hive表做加載映射。第二種方式是利用sparkSQL將獲取的數據Rdd轉換成data 閱讀全文

摘要： 1.寫在前面 在 對流式數據處理過程中，往往是spark streaming消費kafka的數據寫入hdfs中，再進行hive映射形成數倉，當然也可以利用sparkSQL直接寫入hive形成數倉。對于寫入hdfs中，如果是普通的rdd則API為 ，如果是PairRDD則API為 。當然高版本的spa 閱讀全文

摘要： 1.寫在前面 在大數據流式和實時數據計算方面，目前大多采用 和`kafka+flink`,這兩種方式的不同在于組件的不同，spark是離線批和流式一體的大數據分布式計算引擎，而flink最初是為流式和實時計算而生的，所以在流式和實時上更加有優勢。而隨著flink不斷的更新逐漸對批的支持也非常好。這兩 閱讀全文