摘要：
Parquet列式存儲 Apache Parquet是Hadoop生態系統中的列式存儲格式，面向分析型業務，與數據處理框架、數據模型、編程語言無關。 ● 優勢降低存儲空間：按列存，能夠更好地壓縮數據，因為一列的數據一般都是同質的（homogenous）提高IO效率：掃描（遍歷/scan）的時候，可以 閱讀全文
posted @ 2016-11-24 17:23
Uncle_Nucky
閱讀(5009)
評論(0)
推薦(1)
摘要：
本文搭建環境為：Mac + Parallel Desktop + CentOS7 + JDK7 + Hadoop2.6 + Scala2.10.4 + IDEA14.0.5 —————————————————————————————————————————————————— 一、CentOS安裝 ■ 閱讀全文
posted @ 2016-11-17 08:45
Uncle_Nucky
閱讀(663)
評論(0)
推薦(0)
摘要：
■ 把字符串作為 URI 組件進行編碼。JavaScript中有三個可以對字符串編碼的函數，分別是： escape,encodeURI,encodeURIComponent，相應3個解碼函數：unescape,decodeURI,decodeURIComponent。● escape()除了 ASC 閱讀全文
posted @ 2016-11-07 09:24
Uncle_Nucky
閱讀(241)
評論(0)
推薦(0)
摘要：
【規則】開頭結尾 "^The"：表示所有以"The"開始的字符串（"There"，"The cat"等）； "of despair$"：表示所以以"of despair"結尾的字符串；重復 "ab*"：表示一個字符串有一個a后面跟著零個或若干個b。（"a", "ab", "abbb",……）； "a 閱讀全文
posted @ 2016-11-04 16:36
Uncle_Nucky
閱讀(154)
評論(0)
推薦(0)
摘要：
【ZooKeeper】服務注冊、服務發現、客戶端負載均衡、Offset偏移量分布式存儲。kafka使用zookeeper來實現動態的集群擴展，不需要更改客戶端（producer和consumer）的配置。broker會在zookeeper注冊并保持相關的元數據（topic，partition信息等）... 閱讀全文
posted @ 2015-09-30 01:34
Uncle_Nucky
閱讀(526)
評論(0)
推薦(0)
摘要：
————————————————————————————————————————————————【關鍵原理】1.消息文件存儲（消息堆積能力）2.消息topic分區3.消息順序的保證4.拉模型（消費者水平擴展）——————————————————————————————————————————————... 閱讀全文
posted @ 2015-09-30 01:31
Uncle_Nucky
閱讀(2569)
評論(0)
推薦(0)
摘要：
kafka是為分布式環境設計的,因此如果日志文件,其實也可以理解成消息數據庫,放在同一個地方,那么必然會帶來可用性的下降,一掛全掛,如果全量拷貝到所有的機器上,那么數據又存在過多的冗余,而且由于每臺機器的磁盤大小是有限的,所以即使有再多的機器,可處理的消息還是被磁盤所限制,無法超越當前磁盤大小.因此... 閱讀全文
posted @ 2015-09-30 01:31
Uncle_Nucky
閱讀(2997)
評論(0)
推薦(0)
摘要：
在對消息進行存儲和緩存時，Kafka依賴于文件系統。（Page Cache）線性讀取和寫入是所有使用模式中最具可預計性的一種方式，因而操作系統采用預讀（read-ahead）和后寫（write-behind）技術對磁盤讀寫進行探測并優化后效果也不錯。預讀就是提前將一個比較大的磁盤塊中內容讀入內存，后... 閱讀全文
posted @ 2015-09-30 01:30
Uncle_Nucky
閱讀(6102)
評論(0)
推薦(0)
摘要：
================================================================================================哈希表的概念 哈希表(Hash Table)也叫散列表，是根據關鍵碼值（Key Value）而直接進行訪問的... 閱讀全文
posted @ 2015-09-27 16:15
Uncle_Nucky
閱讀(337)
評論(0)
推薦(0)
摘要：
sizeof內存對齊1 #include "iostream"2 using namespace std;34 void main()5 {6 class A7 {891011 }a;121314cout<<sizeof(a)<<endl;1516 }運行結果是：1.空類占用的內存大小是1，空類沒有... 閱讀全文
posted @ 2015-09-27 09:08
Uncle_Nucky
閱讀(220)
評論(0)
推薦(0)
浙公網安備 33010602011771號