虛擬機安裝

硬件

步驟如圖所示：

軟件-->安裝Linux系統(tǒng)

在安裝過程中可以設置root密碼和創(chuàng)建用戶

一直前進

設置IP地址

1. 使用cd /etc/sysconfig/network-scripts命令，發(fā)現(xiàn)ifcfg-ens33文檔的操作權限是root，所以需要從普通用戶切換到root
   

2. 使用su root命令，從kk（普通用戶）切換到root，如圖示：
   

3. 使用vim ifcfg-ens33命令，添加該虛擬機的IP、掩碼、網(wǎng)關、域名解析器（114.114.114.114），把BROWSER_ONLY 的值修改為''static''。如何查看IP、掩碼、網(wǎng)關，如圖所示：
   

4. 使用ping www.baidu.comd 命令測試是否可以ping通 ，如ping不通則檢查修改和添加的內容是否正確
   

5. 使用到的命令如下：

   cd /etc/sysconfig/network-scripts
   su root
   vim ifcfg-ens33
   ping www.baidu.com
   
   

修改主機名

1. 由于hostname文檔的操作權限也是root，則繼續(xù)使用root，使用vim /etc/hostname修改主機名稱
   

2. 使用reboot命令重啟即可
   

3. 看！成功修改后的主機名稱
   

4. 使用到的命令如下

   ll /etc/hostname
   vim /etc/hostname
   reboot
   

普通用戶模式部署Hadoop偽分布模式（虛擬機）

設置IP

1. 使用cd /etc/sysconfig/network-scripts命令，發(fā)現(xiàn)ifcfg-ens33文檔的操作權限是root，所以需要從普通用戶切換到root
   

2. 使用su root命令，從kk（普通用戶）切換到root，如圖示：
   

3. 使用vim ifcfg-ens33命令，添加該虛擬機的IP、掩碼、網(wǎng)關、域名解析器（114.114.114.114），把BROWSER_ONLY 的值修改為''static''。如何查看IP、掩碼、網(wǎng)關，如圖所示：
   

4. 使用ping www.baidu.comd 命令測試是否可以ping通 ，如ping不通則檢查修改和添加的內容是否正確
   

5. 使用到的命令如下：

   cd /etc/sysconfig/network-scripts
   su root
   vim ifcfg-ens33
   ping www.baidu.com
   
   

關閉防火墻

1. 使用su root命令切換為root用戶

• 使用systemctl stop firewalld命令關閉防火墻
• 使用systemctl disable firewalld.service命令禁止開機自動開啟防火墻
  

2. 使用到的命令如下:

   [kk@hadoop101 ~]$ su root
   密碼：
   [root@hadoop101 kk]# systemctl stop firewalld
   [root@hadoop101 kk]# systemctl disable firewalld.service
   Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
   Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
   
   

將主機名稱映射成IP

1. 使用vim /etc/hosts命令添加該虛擬機的IP和主機名稱
   

2. 使用的命令如下：

   [root@hadoop101 kk]# vim /etc/hosts
   

給普通用戶一個root的權限

linux是一個多用戶進程的操作系統(tǒng)，對用戶的權限控制非常明確，所以方便后面普通用戶執(zhí)行root權限的文件且不需要輸入密碼，讓kk用戶具有root權限。

1. 輸入vim /etc/sudoers命令修改sudoers文檔，在%wheel這行下面添加kk ALL=(ALL) NOPASSWD:ALL。如圖所示：
   

2. 使用到的命令如下：

   [root@hadoop101 kk]# vim /etc/sudoers
   

卸載虛擬機自帶的JDK（針對Centos7版本）

1. 使用java -version命令發(fā)現(xiàn)已經(jīng)安裝了虛擬機，為了不影響后面的開發(fā)和hadoop的環(huán)境配置，則需要卸載掉
   

2. 使用rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps命令卸載虛擬機自帶的JDK
   

3. 再次使用java -version命令發(fā)現(xiàn)沒有那個文件，則卸載成功
   

4. 使用到的命令如下：

   [root@hadoop101 kk]# java -version
   openjdk version "1.8.0_161"
   OpenJDK Runtime Environment (build 1.8.0_161-b14)
   OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)
   [root@hadoop101 kk]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
   [root@hadoop101 kk]# java -version
   bash: /usr/bin/java: 沒有那個文件或目錄
   

下載hadoop、jdk8

1. 使用exit命令，切換成kk用戶，因為hadoop偽分布部署在kk（普通用戶）用戶下
   

2. 使用mkdir ./software命令，在當前目錄創(chuàng)建software目錄，存放hadoop和jdk
   

3. 使用cd software命令，切換到software目錄，為了提高下載效率，開啟兩個終端。注意：兩個終端都要切換到software目錄
   使用wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz命令下載hadoop
   使用wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz命令下載jdk8

4. 使用的命令如下：

   [root@hadoop101 kk]# exit
   exit
   [kk@hadoop101 ~]$ pwd
   /home/kk
   [kk@hadoop101 ~]$ ll
   總用量 0
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 公共
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 模板
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 視頻
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 圖片
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 文檔
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 下載
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 音樂
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 桌面
   [kk@hadoop101 ~]$ mkdir ./software
   [kk@hadoop101 ~]$ ll
   總用量 0
   drwxrwxr-x. 2 kk kk 6 10月 24 11:56 software
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 公共
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 模板
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 視頻
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 圖片
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 文檔
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 下載
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 音樂
   drwxr-xr-x. 2 kk kk 6 10月 23 23:12 桌面
   [kk@hadoop101 ~]$ cd software
   [kk@hadoop101 software]$ wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
   
   
   

   [kk@hadoop101 ~]$ cd software
   [kk@hadoop101 software]$ wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
   
   

解壓hadoop、jdk

1. 使用tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz 命令解壓jdk
   使用tar -zxvf hadoop-2.7.3.tar.gz 命令解壓hadoop
   

2. 使用到的命令如下：

   [kk@hadoop101 software]$ ll
   總用量 432284
   -rw-rw-r--. 1 kk kk 161923072 10月 24 12:20 hadoop-2.7.3.tar.gz
   -rw-rw-r--. 1 kk kk 174287938 1月  15 2020 openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
   [kk@hadoop101 software]$ tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz 
   
   

   [kk@hadoop101 software]$ ll
   總用量 379280
   -rw-rw-r--. 1 kk kk 214092195 8月  26 2016 hadoop-2.7.3.tar.gz
   -rw-rw-r--. 1 kk kk 174287938 1月  15 2020 openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
   [kk@hadoop101 software]$ tar -zxvf hadoop-2.7.3.tar.gz 
   
   

設置環(huán)境變量、然后實現(xiàn)

1. 使用vim ~/.bash_profile命令添加java和hadoop的環(huán)境變量，如圖所示：
   

   export JAVA_HOME=/home/kk/software/java-se-8u41-ri
   export HADOOP_HOME=/home/kk/software/hadoop-2.7.3
   export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

2. 使用source ~/.bash_profile命令實現(xiàn)環(huán)境變量，使其生效

3. 使用的命令如下：

   [kk@hadoop101 sbin]$ vim ~/.bash_profile
   [kk@hadoop101 sbin]$ source ~/.bash_profile
   

檢驗配置的環(huán)境變量是否生效

1. 使用java -version和hadoop version命令檢驗環(huán)境變量是否生效，如無生效，則檢查是否有配置錯
   

2. 使用的命令如下：

[kk@hadoop101 /]$ hadoop version
Hadoop 2.7.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff
Compiled by root on 2016-08-18T01:41Z
Compiled with protoc 2.5.0
From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4
This command was run using /home/kk/software/hadoop-2.7.3/share/hadoop/common/hadoop-common-2.7.3.jar
[kk@hadoop101 /]$ java -version
openjdk version "1.8.0_41"
OpenJDK Runtime Environment (build 1.8.0_41-b04)
OpenJDK 64-Bit Server VM (build 25.40-b25, mixed mode)
[kk@hadoop101 /]$ 

hadoop/bin的內容

hadoop/sbin

安裝ssh

1. 使用ssh-keygen -t rsa命令生成密鑰對（公鑰和私鑰），連續(xù)敲3次回車即創(chuàng)建完畢

2. 使用cd .ssh命令，進入.ssh目錄，再使用ssh-copy-id hadoop101命令，將hadoop101的公鑰拷貝到hadoop101的authorized_keys，完成無密登錄hadoop101
   

3. 使用ssh hadoop101實現(xiàn)無密碼登錄hadoop101。使用exit命令即可退出exit，回到本機。注意：使用ssh hadoop101命令不用輸入密碼才算配置成功
   

4. 使用到的命令：

   [kk@hadoop101 /]$ ssh-keygen -t rsa
   
   [kk@hadoop101 ~]$ cd /home/kk/.ssh
   [kk@hadoop101 .ssh]$ ssh-copy-id hadoop101
   
   
   [kk@hadoop101 .ssh]$ ssh hadoop101
   
   [kk@hadoop101 ~]$ exit
   
   
   
   

修改hadoop自定義配置文件

修改core-site.xml

1. 使用cd /home/kk/software/hadoop-2.7.3/etc/hadoop/命令，切換到hadoop目錄下

2. 使用vim core-site.xml命令修改文檔配置，在添加內容，添加內容如下：
   

       <!-- 指定NameNode的地址 -->
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://hadoop101:9000</value>
       </property>
   
       <!-- 指定hadoop數(shù)據(jù)的存儲目錄 -->
       <property>
           <name>hadoop.tmp.dir</name>
           <value>/home/kk/software/hadoop-2.7.3/data</value>
       </property>
   

3. 使用到的命令如下：

   [kk@hadoop101 hadoop]$ cd /home/kk/software/hadoop-2.7.3/etc/hadoop/
   [kk@hadoop101 hadoop]$ vim core-site.xml
   
   

修改hdfs-site.xml

1. 使用vim hdfs-site.xml命令修改文檔配置，在添加內容，添加內容如下：
   

   <property>
   <!--副本的數(shù)量-->
   <name>dfs.replication</name>
   <value>1</value>
   </property>
   
   

   2. 使用到的命令如下：

      [kk@hadoop101 hadoop]$ vim hdfs-site.xml 
      

修改yarn-site.xml

1. 使用vim yarn-site.xml命令修改文件配置，在添加內容，添加內容如下：

       <!-- 指定ResourceManager的地址-->
       <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>hadoop101</value>
       </property>
       <!-- 指定MR走shuffle -->
       <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>
   

2. 使用到的命令如下：

   vim yarn-site.xml
   

修改mapred-site.xml

1. 使用vim mapred-site.xml.template命令修改文件配置，在添加內容，添加內容如下：

   	<!-- 指定MapReduce程序運行在Yarn上 -->
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
   
   

2. 使用到的命令如下：

   vim mapred-site.xml.template
   

修改 hadoop-env.sh

1. 使用vim hadoop-env.sh命令，修改文件配置，添加如下信息：

   export JAVA_HOME=/home/kk/software/java-se-8u41-ri
   

2. 使用到的命令如下：

   vim hadoop-env.sh
   

格式化文件系統(tǒng)

1. 使用hdfs namenode -format命令格式化文件

2. 若出現(xiàn) status 0 則表示初始化成功

?

啟動所有線程

start-all.sh

查看進程

jps

在windows下的瀏覽器輸入hadoop101:50070和hadoop101:8088

注意事項

1. 一定要停止進程（stop-all.sh），然后再關閉虛擬機。
2. 不要多次使用hadoop namenode -format命令，否則使NameNode和DataNode的id不匹配，無法正常開啟DataNode進程

解決某些問題鏈接

https://blog.csdn.net/u010886217/article/details/83479380偽分布（如何在阿里云設置授權）

https://blog.csdn.net/weixin_44915822/article/details/108957136（id修改問題）