摘要：
【ZooKeeper】服務注冊、服務發(fā)現、客戶端負載均衡、Offset偏移量分布式存儲。kafka使用zookeeper來實現動態(tài)的集群擴展，不需要更改客戶端（producer和consumer）的配置。broker會在zookeeper注冊并保持相關的元數據（topic，partition信息等）... 閱讀全文
posted @ 2015-09-30 01:34
Uncle_Nucky
閱讀(526)
評論(0)
推薦(0)
摘要：
————————————————————————————————————————————————【關鍵原理】1.消息文件存儲（消息堆積能力）2.消息topic分區(qū)3.消息順序的保證4.拉模型（消費者水平擴展）——————————————————————————————————————————————... 閱讀全文
posted @ 2015-09-30 01:31
Uncle_Nucky
閱讀(2569)
評論(0)
推薦(0)
摘要：
kafka是為分布式環(huán)境設計的,因此如果日志文件,其實也可以理解成消息數據庫,放在同一個地方,那么必然會帶來可用性的下降,一掛全掛,如果全量拷貝到所有的機器上,那么數據又存在過多的冗余,而且由于每臺機器的磁盤大小是有限的,所以即使有再多的機器,可處理的消息還是被磁盤所限制,無法超越當前磁盤大小.因此... 閱讀全文
posted @ 2015-09-30 01:31
Uncle_Nucky
閱讀(2997)
評論(0)
推薦(0)
摘要：
在對消息進行存儲和緩存時，Kafka依賴于文件系統(tǒng)。（Page Cache）線性讀取和寫入是所有使用模式中最具可預計性的一種方式，因而操作系統(tǒng)采用預讀（read-ahead）和后寫（write-behind）技術對磁盤讀寫進行探測并優(yōu)化后效果也不錯。預讀就是提前將一個比較大的磁盤塊中內容讀入內存，后... 閱讀全文
posted @ 2015-09-30 01:30
Uncle_Nucky
閱讀(6102)
評論(0)
推薦(0)
浙公網安備 33010602011771號