HADOOP入門（2）：使用（1）安裝（1）Hadoop運行環境搭建（開發重點）centos
1 模板虛擬機環境準備
0）安裝模板虛擬機，IP地址192.168.10.100、主機名稱hadoop100、內存4G、硬盤50G
1）hadoop100虛擬機配置要求如下（本文Linux系統全部以CentOS-7.5-x86-1804為例）
（1）使用yum安裝需要虛擬機可以正常上網，yum安裝前可以先測試下虛擬機聯網情況
[root@hadoop100 ~]# ping www.baidu.com PING www.baidu.com (14.215.177.39) 56(84) bytes of data. 64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms 64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms
（2）安裝epel-release
注：Extra Packages for Enterprise Linux是為“紅帽系”的操作系統提供額外的軟件包，適用于RHEL、CentOS和Scientific Linux。相當于是一個軟件倉庫，大多數rpm包在官方 repository 中是找不到的）
[root@hadoop100 ~]# yum install -y epel-release
（3）注意：如果Linux安裝的是最小系統版，還需要安裝如下工具；如果安裝的是Linux桌面標準版，不需要執行如下操作
- net-tool：工具包集合，包含ifconfig等命令
[root@hadoop100 ~]# yum install -y net-tools
- vim：編輯器
[root@hadoop100 ~]# yum install -y vim
2）關閉防火墻，關閉防火墻開機自啟
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
注意：在企業開發時，通常單個服務器的防火墻時關閉的。公司整體對外會設置非常安全的防火墻
3）創建atguigu用戶，并修改atguigu用戶的密碼
[root@hadoop100 ~]# useradd atguigu
[root@hadoop100 ~]# passwd atguigu
4）配置atguigu用戶具有root權限，方便后期加sudo執行root權限的命令
[root@hadoop100 ~]# vim /etc/sudoers
修改/etc/sudoers文件，在%wheel這行下面添加一行，如下所示：
## Allow root to run any commands anywhere root ALL=(ALL) ALL ## Allows people in group wheel to run all commands %wheel ALL=(ALL) ALL atguigu ALL=(ALL) NOPASSWD:ALL
注意：atguigu這一行不要直接放到root行下面，因為所有用戶都屬于wheel組，你先配置了atguigu具有免密功能，但是程序執行到%wheel行時，該功能又被覆蓋回需要密碼。所以atguigu要放到%wheel這行下面。
5）在/opt目錄下創建文件夾，并修改所屬主和所屬組
（1）在/opt目錄下創建module、software文件夾
[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software
（2）修改module、software文件夾的所有者和所屬組均為atguigu用戶
[root@hadoop100 ~]# chown atguigu:atguigu /opt/module
[root@hadoop100 ~]# chown atguigu:atguigu /opt/software
（3）查看module、software文件夾的所有者和所屬組
[root@hadoop100 ~]# cd /opt/ [root@hadoop100 opt]# ll 總用量 12 drwxr-xr-x. 2 atguigu atguigu 4096 5月 28 17:18 module drwxr-xr-x. 2 root root 4096 9月 7 2017 rh drwxr-xr-x. 2 atguigu atguigu 4096 5月 28 17:18 software
6）卸載虛擬機自帶的JDK
注意：如果你的虛擬機是最小化安裝不需要執行這一步。
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
- rpm -qa：查詢所安裝的所有rpm軟件包
- grep -i：忽略大小寫
- xargs -n1：表示每次只傳遞一個參數
- rpm -e –nodeps：強制卸載軟件
7）重啟虛擬機
[root@hadoop100 ~]# reboot
2 克隆虛擬機
1）利用模板機hadoop100，克隆三臺虛擬機：hadoop102 hadoop103 hadoop104
注意：克隆時，要先關閉hadoop100
2）修改克隆機IP，以下以hadoop102舉例說明
（1）修改克隆虛擬機的靜態IP
[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
改成
DEVICE=ens33 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static NAME="ens33" IPADDR=192.168.10.102 PREFIX=24 GATEWAY=192.168.10.2 DNS1=192.168.10.2
（2）查看Linux虛擬機的虛擬網絡編輯器，編輯->虛擬網絡編輯器->VMnet8
（3）查看Windows系統適配器VMware Network Adapter VMnet8的IP地址
（4）保證Linux系統ifcfg-ens33文件中IP地址、虛擬網絡編輯器地址和Windows系統VM8網絡IP地址相同。
3）修改克隆機主機名，以下以hadoop102舉例說明
（1）修改主機名稱
[root@hadoop100 ~]# vim /etc/hostname
hadoop102
（2）配置Linux克隆機主機名稱映射hosts文件，打開/etc/hosts
[root@hadoop100 ~]# vim /etc/hosts
添加如下內容
192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 192.168.10.104 hadoop104 192.168.10.105 hadoop105 192.168.10.106 hadoop106 192.168.10.107 hadoop107 192.168.10.108 hadoop108
4）重啟克隆機hadoop102
[root@hadoop100 ~]# reboot
5）修改windows的主機映射文件（hosts文件）
（1）如果操作系統是window7，可以直接修改
（a）進入C:\Windows\System32\drivers\etc路徑
（b）打開hosts文件并添加如下內容，然后保存
192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 192.168.10.104 hadoop104 192.168.10.105 hadoop105 192.168.10.106 hadoop106 192.168.10.107 hadoop107 192.168.10.108 hadoop108
（2）如果操作系統是window10，先拷貝出來，修改保存以后，再覆蓋即可
（a）進入C:\Windows\System32\drivers\etc路徑
（b）拷貝hosts文件到桌面
（c）打開桌面hosts文件并添加如下內容
192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 192.168.10.104 hadoop104 192.168.10.105 hadoop105 192.168.10.106 hadoop106 192.168.10.107 hadoop107 192.168.10.108 hadoop108
本文來自博客園，作者：秋華，轉載請注明原文鏈接：http://www.rzrgm.cn/qiu-hua/p/15228603.html
浙公網安備 33010602011771號