kafka集群安裝部署
1:kafka集群需要依賴zookeeper集群,所以先準備好zookeeper集群,zookeeper集群安裝部署可以參考之前的文檔
2:準備kafka服務器,我這里選用hadoop2、hadoop3、hadoop4這三臺服務器,并準備好kafka壓縮包
3:解壓kafka壓縮包到指定目錄,修改文件名稱
tar -zxvf kafka_2.12-2.3.0.tgz -C /opt/module/
mv kafka_2.12-2.3.0/ kafka
4:在kafka文件夾下面創建log文件夾用來存放消息
mkdir log
5:編輯kafka配置文件,目錄在kafka/config下面,主要配置server.properties
這里主要選擇這么幾個重要的參數配置,測試使用,不需要做優化,其他的參數使用默認配置就行
# broker的id,必須唯一 broker.id=0 # 運行日志存放的目錄 log.dirs=/opt/module/kafka/log # zookeeper集群地址 zookeeper.connect=hadoop2:2181,hadoop3:2181,hadoop4:2181
6:將kafka整個文件copy到hadoop3和hadoop4上面,配置修改相同,但是記住broker.id需要修改,我這里將hadoop3上broker.id設置為1,hadoop4上的broker.id設置為2
7:啟動kafka集群
進入bin目錄下 執行 ./kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties
-daemon表示后臺啟動
8:在hadoop2啟動一個生產者,topic名稱為test
./kafka-console-producer.sh --broker-list hadoop2:9092 --topic test
9:在hadoop3啟動一個消費者
./kafka-console-consumer.sh --bootstrap-server hadoop2:9092 --topic test

正常發送和接收消息

浙公網安備 33010602011771號