上傳hadoop-3.3.4.tar.gz到/export/server

解壓

tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/
# 快捷方式
ln -s /export/server/hadoop-3.3.4 hadoop

Hadoop安裝包目錄結(jié)構(gòu)

配置集群

1. workers：配置從節(jié)點(diǎn)（DataNode）有哪些
2. hadoop-env.sh：配置Hadoop的相關(guān)環(huán)境變量
3. core-site.xml：Hadoop核心配置文件
4. hdfs-site.xml：HDFS核心配置文件

這些文件均存在與 HADOOP_HOME/etc/hadoop文件夾中。
HADOOP_HOME:/export/server/hadoop, 這個(gè)后期配置成環(huán)境變量

cd /export/server/hadoop/etc/hadoop/

# 配置workers文件
vim workers
# 填入node1 node2 node 3

# 配置hadoop-env.sh文件
# 填入以下內(nèi)容
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

# 配置core-site.xml文件
# 在文件內(nèi)部填入如下內(nèi)容
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
  </property>

  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
</configuration>

hdfs://node1:8020為整個(gè)HDFS內(nèi)部的通訊地址，應(yīng)用協(xié)議為hdfs://（Hadoop內(nèi)置協(xié)議）
表明DataNode將和node1的8020端口通訊，node1是NameNode所在機(jī)器
此配置固定了node1必須啟動NameNode進(jìn)程

# 配置hdfs-site.xml文件
# 在文件內(nèi)部填入如下內(nèi)容
<configuration>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>
  </property>
  <property>
    <name>dfs.namenode.hosts</name>
    <value>node1,node2,node3</value>
  </property>
<property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
  </property>
</configuration>

hdfs-site.xml 簡單說明:

# namenode數(shù)據(jù)存放node1的/data/nn
# datanode數(shù)據(jù)存放node1、node2、node3的/data/dn

# 在node1節(jié)點(diǎn)執(zhí)行：
mkdir -p /data/nn
mkdir /data/dn
# 在node2和node3節(jié)點(diǎn)：
mkdir -p /data/dn

分發(fā)Hadoop文件夾

cd /export/server
scp -r hadoop-3.3.4 node2:$PWD
scp -r hadoop-3.3.4 node3:$PWD

# 登陸node2/3分別執(zhí)行創(chuàng)建軟連接命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

配置環(huán)境變量

# 為了方便以后的操作把常用的hadoop命令配置成環(huán)境變量 [node1/2/3都配置]
vim /etc/profile
# 在/etc/profile文件底部追加如下內(nèi)容
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

# 環(huán)境變量配置好了可以執(zhí)行 hadoop version看看效果
hadoop version
#輸出如下
Hadoop 3.3.4
Source code repository https://github.com/apache/hadoop.git -r a585a73c3e02ac62350c136643a5e7f6095a3dbb
Compiled by stevel on 2022-07-29T12:32Z
Compiled with protoc 3.7.1
From source with checksum fb9dd8918a7b8a5b430d61af858f6ec
This command was run using /export/server/hadoop-3.3.4/share/hadoop/common/hadoop-common-3.3.4.jar

授權(quán)hadoop用戶

# 為了確保安全，hadoop系統(tǒng)不以root用戶啟動，我們以普通用戶hadoop來啟動整個(gè)Hadoop服務(wù)
# (之前說過創(chuàng)建hadoop,并配置hadoop用戶之間的免密登陸)
# 以root賬戶執(zhí)行下面的命令,(node 1/2/3都要執(zhí)行)
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

格式化文件系統(tǒng)

# 確保以hadoop用戶執(zhí)行
su - hadoop
# 格式化namenode
# 因?yàn)槲覀冊谇懊媾渲昧谁h(huán)境變量,因此可以直接hadoop命令來操作,簡單粗暴
hadoop namenode -format

Hadoop 啟動

# 一鍵啟動hdfs集群
start-dfs.sh
# 一鍵關(guān)閉hdfs集群
stop-dfs.sh

windows下的hosts文件也映射下

192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3

最后打開 http://node1:9870/
可以看到集群狀態(tài)

快照

執(zhí)行init 0 命令,把三臺虛擬機(jī)關(guān)機(jī)在虛擬機(jī)上拍攝快照.