摘要： 臨時(shí)下載 7天有效 鏈接：https://pan.baidu.com/s/1iRYonpAc8ox_PfsErEz1sQ 提取碼：k8z9 鏈接：https://pan.baidu.com/s/1BO4DFZXqDxbVF3LFoZBrpg 提取碼：2dmf 閱讀全文

摘要： nfs-subdir-external-provisioner-v4.0.2.tar 鏡像包下載地址： 鏈接：https://pan.baidu.com/s/1u64GzPkjV-EhHJ_5DSQZxg 提取碼：p6l6 記錄一下，怕自己忘記 閱讀全文

摘要： regionMatches()方法： equals 比較內(nèi)容 == 比較的是地址 閱讀全文

摘要： Kafka提供的所有度量指標(biāo)都是通過JMX（Java Management Extensions）接口訪問 JMX端口查詢： zookeeper上獲取端口信息 /brokers/ids/<ID>節(jié)點(diǎn)包含json格式的broker信息，里面含有JMX對(duì)應(yīng)的主機(jī)名和端口 JMX接口提供的是內(nèi)部度量指標(biāo)， 閱讀全文

摘要： 使用kafka-topic.sh工具可以執(zhí)行大部分操作 創(chuàng)建/修改/刪除/查看集群里的主題。要使用全部功能，需要通過--zookeeper參數(shù)提供zookeerper連接字符串 創(chuàng)建主題： 創(chuàng)建主題需要3個(gè)參數(shù)： 主題名字 復(fù)制系數(shù) 分區(qū)數(shù)量 格式： kafka-topic.sh --zookeep 閱讀全文

摘要： 構(gòu)建數(shù)據(jù)管道需要考慮的問題： 及時(shí)性 可靠性 高吞吐量和動(dòng)態(tài)吞吐量 數(shù)據(jù)格式 轉(zhuǎn)換 安全性 故障處理能力 耦合性與靈活性 數(shù)據(jù)管道的構(gòu)建分為2個(gè)陣營，ETL和ELT ETL：提取-轉(zhuǎn)換-加載 當(dāng)數(shù)據(jù)流經(jīng)管道時(shí)，數(shù)據(jù)管道負(fù)責(zé)處理他們 ELT：提取-加載-轉(zhuǎn)換：數(shù)據(jù)管道只做少量的轉(zhuǎn)換，高保真 數(shù)據(jù)管道最 閱讀全文

摘要： Kafka保證分區(qū)消息的順序，“先入先出” 只有當(dāng)消息被寫入分區(qū)的所有副本時(shí)，才被認(rèn)為已提交的 只要有一個(gè)副本是活躍的，已提交的消息就不會(huì)丟失 消費(fèi)者只能讀取已經(jīng)提交的消息 如果一個(gè)或多個(gè)副本在同步/非同步之間狀態(tài)快速切換，說明集群內(nèi)出現(xiàn)問題，通常是JAVA不恰當(dāng)?shù)睦厥张渲脤?dǎo)致的 broker安 閱讀全文

摘要： 集群成員關(guān)系： Kafka使用zookeeper維護(hù)集群成員信息，每個(gè)broker擁有唯一標(biāo)識(shí)符，這個(gè)標(biāo)識(shí)符可以在配置文件里指定也可以自動(dòng)生成，會(huì)注冊(cè)到Zookeeper的/brokers/ids路徑下 控制器： 本質(zhì)就是一個(gè)broker，但是還負(fù)責(zé)分區(qū)首領(lǐng)選舉 Kafka使用zookeeper的臨 閱讀全文

摘要： 消費(fèi)者和消費(fèi)群組： Kafka消費(fèi)者從屬于消費(fèi)者群組，一個(gè)群組里的消費(fèi)者訂閱的是同一個(gè)主題，每個(gè)消費(fèi)者接收主題的一部分分區(qū)消息 消費(fèi)者的數(shù)量不要超過主題分區(qū)的數(shù)量，多余的消費(fèi)者只會(huì)被閑置 一個(gè)主題可以被多個(gè)消費(fèi)群組使用，消費(fèi)者群組之間互不影響 當(dāng)一個(gè)消費(fèi)者加入群組時(shí)，他讀取的數(shù)據(jù)是原本由其他消費(fèi)者讀 閱讀全文

摘要： 創(chuàng)建Kafka生產(chǎn)者： Kafka生產(chǎn)者有3個(gè)必選屬性： bootstrap.servers broker地址清單，格式為host:port ,清單中不必包含所有broker，但至少2個(gè) key.serializer = org.apache.kafka.common.serialization.S 閱讀全文