丹江湖畔養蜂子的趙大爹

摘要： standby namenode無法啟動 現象：線上使用的2.5.0 cdh5.3.2版本Hadoop，開啟了了NameNode HA，HA采用QJM方式。hadoop的集群的namenode的standby節點宕掉，重啟無法啟動成功。 1. standby namenode出現異常時的現象 異常現 閱讀全文

摘要： 根據時間戳獲取kafka的topic的偏移量，結果獲取的偏移量量數據組的長度為0，就會出現如下的數組下標越界的異常，實現的原理是使用了kafka的getOffsetsBefore（）方法: Exception in thread "main" java.lang.ArrayIndexOutOfBou 閱讀全文

該文被密碼保護。 閱讀全文

摘要： 如何高效的進行數據捉蟲？ 背景： 在日常工作中，經常會接到用戶反饋的問題，形形色色，各不相同，接到客戶反饋的第一時，往往不知道如何查起。當這些問題都解決后，發現問題排查定位有一些共性的東西可以總結出來。 一、問題接入 歸屬分析：一個系統，產品涉及到相關方一般較多（前端，服務端，數據，上游合作方），當 閱讀全文

該文被密碼保護。 閱讀全文

該文被密碼保護。 閱讀全文

摘要： 目前HVIE里查詢如下語句報錯： select * from dw.ticket_user_mtime limit 10; 錯誤如下： 17/07/06 16:45:38 [main]: DEBUG impl.RecordReaderImpl: merge = [{data range [22733 閱讀全文

摘要： In the visualization, spout components are represented as blue, while bolts are colored between green and red depending on their associated capacity metric. The width of the lines between the componen... 閱讀全文

摘要： spark總結 1.Spark的特點： 高可伸縮性 高容錯 基于內存計算 支持多種語言：java，scala，python，R 高質量的算法，比MapReduce快100倍 多種調度引擎：可以運行于YARN，Mesos，standalone 等。 2.spark的提供的功能 以及應用場景 | spa 閱讀全文

摘要： kafka各個版本特點介紹和總結 1.1 kafka的功能特點： 分布式消息隊列 線性擴展，高可用 以高容錯的方式存儲海量數據流。 高吞吐量:生成和消費速度非常快 1.2 kafka的使用場景： kafka的使用場景，即kafka的用途。 數據總線（數據管道） Kafka主要用途是數據集成，或者說是 閱讀全文

摘要： spark mllib 密集向量和稀疏向量 MLlib支持局部向量和矩陣存儲在單臺服務器，也支持存儲于一個或者多個rdd的分布式矩陣 。 局部向量和局部矩陣是用作公共接口的最簡單的數據模型。 基本的線性代數運算由Breeze提供。 在監督學習中使用的訓練示例在MLlib中稱為“標記點”。 因此，向量 閱讀全文

摘要： 【圖數據結構的遍歷】java實現廣度優先和深度優先遍歷 寬度優先搜索(BFS）遍歷圖需要使用隊列queue數據結構； 深度優先搜索(DFS, Depth First Search)的實現 需要使用到棧stack數據結構。 java中雖然有Queue接口，單java并沒有給出具體的隊列實現類，而Jav 閱讀全文