大數據之路

摘要： 主要的需求 針對大體量表的OLAP統計查詢，需要找到一個穩定，高性能的大數據數據庫，具體使用 數據可以實時的寫入和查詢，并發的tps不是很高 建立數據倉庫，模式上主要采用星星模型、雪花模型，或者寬表 前端展示 分為3類 saiku、granafa、c#代碼開發 數據體量：事實表在3-5億、維度表大的 閱讀全文

摘要： 環境部署： hbase 采用azure的虛機，存儲采用azure的blockblob。 問題： 生產碰到過幾次，hbase master無法啟動的問題，這種情況下是可以正常讀寫，但是如果這個時候，發生master切換，集群是無法正常工作的，后果是災難性的。 此時 hbase master 界面無法訪 閱讀全文

摘要： 一、概述 hbase 寫入優化除了參數配置之外，很大的一塊要考慮避免region的熱點問題，避免region 熱點問題，主要的目的是提高hbase 數據表rowkey的分散。結合實際情況主要有以下幾個辦法 1.1 rowkey的創建規則 避免， 比如 通過rowkey前幾位的hash。業務規則避免， 閱讀全文

摘要： 目前正在使用tispark 進行離線計算，簡單記錄一下操作過程 一、技術驗證 解決方案： 使用tispark 直接訪問tidb的數據，采用spark的lag函數計算 SELECT billid,MAX(Diff) AS MaxHVDiff,MIN(Diff) AS MinHVDiff, '20190 閱讀全文

摘要： 大數據下的ETL工具是否還使用Kettle？&&kettle的核心執行邏輯 閱讀全文