——本文非個人原創(chuàng)，為大牛同事整理，發(fā)布于此以備忘

1     CDH5.8安裝（2018年4月19日）

1.1   物理服務器注意事項

（1）把raid都去掉了，每個物理盤都用raid0創(chuàng)建一個虛擬盤。Ctrl+r進入dell的raid設置，用F2來進行設置，注意設置完raid后，需要選中創(chuàng)建好的虛擬盤按F2從操作中選fast init，不初始化的話安裝系統(tǒng)的時候找不到硬盤。

10.10.101.1-10.10.101.4這四臺，每臺服務器三塊硬盤，一個用來裝linux和CDH,一個盤給Hadoop用，最后一個盤給OpenStack使用。

10.10.101.5服務器給mitaka使用，服務器有兩塊硬盤，煤塊2T。

（2）操作系統(tǒng)安裝的是centos7.3，CentOS-7-x86_64-Everything-1611。分區(qū)調整的時候，把home分區(qū)留100多G，其他的給分到/分區(qū)。10.10.101.1和10.10.101.2前面的usb口可能不靈。

1.2   安裝CDH5.8過程

參考地址：https://www.cmgine.com/archives/19130.html

 

實際步驟：參考CDH5.12的安裝步驟

2     CDH 5.12安裝（2018年3月19日）

參考地址：

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_command_line.html

Installing and Deploying CDH Using the Command Line

 

http://blog.csdn.net/watermelonbig/article/details/77102187 【重點參考】

Cloudera Manager CDH 5.12 大數據處理平臺部署指南

 

http://blog.csdn.net/fengdahui/article/details/54426317

CDH-5.XX 離線安裝及升級步驟及安裝過程常見錯誤

 

http://blog.csdn.net/sunsiyuan521/article/details/77045747

離線安裝Cloudera Manager 5和CDH5(最新版5.12.0) 完全教程

 

http://archive.cloudera.com/cdh5/parcels/

離線安裝需要下載的文件的路徑，下載后保存到/opt/cloudera/parcel-repo

 

https://archive.cloudera.com/cm5/repo-as-tarball/5.12.0/

離線安裝的yum需要的東西

 

2.1   物理服務器注意事項

（1）NameNode所在的節(jié)點一般不要同時做數據節(jié)點使用。而且NameNode所在主機的磁盤需要配置適當的RAID保護級別，以提高可靠性。

備注：這里在公司的hadoop集群用的是raid5

（2）對于DataNode所在的主機節(jié)點，建議系統(tǒng)盤和數據盤完全隔離開，然后系統(tǒng)盤使用兩磁盤配置為RAID1以提高可靠性。雖然數據節(jié)點是冗余的，掛一個也不影響CDH平臺運行，但修起來還是很麻煩。

備注：其他數據結點都是用的raid0，總共有3個數據結點。

注意dell服務器重啟的時候按ctrl+r進入raid設置，按F2進行操作。設置完后需要選中硬盤初始化，否則安裝的時候出錯。

2.2   安裝centos7.2及環(huán)境調整

2.2.1   環(huán)境調整

用u盤啟動安裝centos7.2，安裝完畢后需要進行以下操作：

（1）設置IP地址。

（2）修改機器名。

hostnamectl set-hostname hadoop1（僅centos7）

 

（3）重啟網絡

命令：service network restart

（4）用xshell連接上已有的計算機，大部分命令可以一起操作了。

（5）禁用selinux。

getenforce

setenforce 0

vi /etc/selinux/config

將SELINUX=enforcing改為SELINUX=disabled

 

注意：按i進入編輯狀態(tài)，按esc退回到命令狀態(tài),命令狀態(tài)按:wq并回車保存并退出。

 

（6）禁用防火墻。

systemctl stop firewalld

systemctl disable firewalld.service

 

firewall-cmd --state   查看防火墻狀態(tài)

（7）設置hosts

vi /etc/hosts

10.10.101.1 hadoop1

10.10.101.2 hadoop2

10.10.101.3 hadoop3

10.10.101.4 hadoop4

10.10.101.5 mitaka

 

（8）設置免密登錄

在所有的服務器上運行ssh-keygen，然后一路回車。

用xshell給每臺機器上執(zhí)行

ssh-copy-id 192.168.0.100    注意拷貝的IP是要安裝cdh的服務器的IP

ssh-copy-id 192.168.0.101  

ssh-copy-id 10.10.101.1   以后登錄10.10.101.1就不用再輸入口令了

   執(zhí)行完后看 cat /root/.ssh/authorized_key 是否存在，如果不存在，則手動創(chuàng)建

cat   /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_key

把所有計算機上的authorized_key文件合并成一個文件，再拷貝到各個計算機上。

 

這樣可以保證每個服務器之間都可以相互免密登錄。

 

驗證：

ssh root@hadoop1

exit

ssh root@hadoop2

exit

ssh root@hadoop3

exit

ssh root@hadoop4

exit

 

（9）設置參數優(yōu)化。

命令：vi /etc/sysctl.conf  回車輸入i進入編輯狀態(tài)，把下面的內容粘貼到文件最后

vm.swappiness = 0 

net.ipv6.conf.all.disable_ipv6 = 1 

net.ipv6.conf.default.disable_ipv6 = 1 

net.ipv4.ip_local_port_range = 1024 65000

按esc退出編輯狀態(tài)，輸入:wq保存并退出。

 

命令：vi /etc/rc.local   把下面的內容追加到文件最后

echo never > /sys/kernel/mm/transparent_hugepage/defrag 

echo never > /sys/kernel/mm/transparent_hugepage/enabled

按esc退出編輯狀態(tài)，輸入:wq保存并退出。

 

source /etc/rc.local

 

命令：chmod +x /etc/rc.d/rc.local   這個命令不能少，否則重啟后/etc/rc.local不能自動執(zhí)行。

 

2.2.2   驗證優(yōu)化參數

（10）重啟 reboot

（11）檢查參數優(yōu)化是否優(yōu)化成功。

命令：getenforce   檢查結果是否是Disabled

命令：firewall-cmd --state 檢查防火墻是否關閉

命令：cat /sys/kernel/mm/transparent_hugepage/defrag 看是否是選中了never。

命令：cat /proc/sys/vm/swappiness  看結果是否是設置的0，如果設置的是10，則結果顯示是10。

注意：如果centos是在vmware虛擬機安裝的，這個參數可能會改不了，一直是30。物理機的centos沒有問題。

 

上面命令一起執(zhí)行如下：

getenforce

firewall-cmd --state

cat /sys/kernel/mm/transparent_hugepage/defrag

cat /proc/sys/vm/swappiness

 

2.3   把centos安裝盤設置成本地源（離線安裝mysql  wget需要）

注意：如果是在線安裝也挺快，就不用設置本地源了

（1）新建用來掛載的目錄。

cd /mnt/

mkdir iso cdrom

cd /mnt/iso

（2）把CentOS-7-x86_64-Everything-1511.iso文件拷貝到/mnt/iso目錄下。

（3）執(zhí)行掛載命令如下：

mount -o loop /mnt/iso/CentOS-7-x86_64-Everything-1511.iso /mnt/cdrom/

(mount命令 -o指定選項，loop用來把一個文件當成硬盤分區(qū)mount到目錄)

需要加到/etc/rc.local文件中，作為開機執(zhí)行語句，否則重啟后還需要重新執(zhí)行此命令

 

（4）備份原來的源文件。

cd /etc/yum.repos.d/

mkdir bak

mv *.repo ./bak

（5）設置本地源

vi /etc/yum.repos.d/iso.repo

[Centos]

name=CentOS

baseurl=file:///mnt/cdrom

gpgcheck=0

enabled=1

 

編輯好后保存并關閉文件。

 

（6）安裝后面用到的工具

yum install wget -y       需要安裝，否則后面安裝CDH有報錯

yum install deltarpm -y      需要安裝，否則后面安裝CDH有報錯

yum install psmisc -y               需要安裝，否則后面安裝CDH有報錯

 

yum install wget -y

yum install deltarpm -y

yum install psmisc -y

 

2.4   正式安裝CDH

2.4.1   安裝oracle jdk （都安裝）

（1）下載rpm安裝包

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

注意：下載的時候需要登錄oracle的帳號。

（2）安裝rpm包

rpm -ivh jdk-8u161-linux-x64.rpm

（3）編輯配置文件指定java的home目錄并導出環(huán)境變量

vi /etc/profile   將下面的內容拷貝到文件最后

JAVA_HOME=/usr/java/jdk1.8.0_161

PATH=$JAVA_HOME/bin:$PATH:. 

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

export JAVA_HOME 

export PATH 

export CLASSPATH

注意：編輯的時候別把PATH參數搞錯了，否則可能會引起命令找不到問題。

 

執(zhí)行source /etc/profile

 

（4）檢查java是否安裝成功

echo $JAVA_HOME     顯示：/usr/java/jdk1.8.0_161

java -version   顯示結果如下：

java version "1.8.0_161"

Java(TM) SE Runtime Environment (build 1.8.0_161-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

說明：出現上面的結果，說明java已經安裝成功。

 

2.4.2   安裝mysql （只裝1臺）

有多種方法，這里centos7.2的安裝iso文件搭建本地yum源，然后再安裝。

（1）正式安裝mysql

yum install mariadb mariadb-server -y

systemctl enable mariadb.service

systemctl start mariadb.service

mysql_secure_installation

最后一個命令，設置數據庫的root的口令為admin@123

 

驗證：

#mysql -u root -p

輸入剛才設置的口令admin@123

如果能正常登錄，說明mysql安裝成功了

 

注意：如果不能安裝需要先卸載沖突的包

rpm -qa | grep mariadb #查看安裝信息

rpm -e mariadb-libs* --nodeps #根據查找到的軟件包信息卸載

 

rpm -e mariadb-libs-5.5.52-1.el7.x86_64 --nodeps

 

 

（2）優(yōu)化數據庫

 跳過：這里沒有設置。

2.4.3   創(chuàng)建需要的數據庫 （只操作1臺）

        
  

Role

  		   

Database

  		   

User

  		   

Password

  

Activity Monitor

amon

amon

amon_password

Reports Manager

rman

rman

rman_password

Hive Metastore Server

metastore

hive

hive_password

Sentry Server

sentry

sentry

sentry_password

Cloudera Navigator Audit Server

nav

nav

nav_password

Cloudera Navigator Metadata Server

navms

navms

navms_password

Oozie

oozie

oozie

oozie_password

Hue

hue

hue

hue_password

 

登錄數據庫：mysql -u root -p

輸入密碼admin@123

create database amon DEFAULT CHARACTER SET utf8;

create database rman DEFAULT CHARACTER SET utf8;

create database hive DEFAULT CHARACTER SET utf8;

create database sentry DEFAULT CHARACTER SET utf8;

create database nav DEFAULT CHARACTER SET utf8;

create database navms DEFAULT CHARACTER SET utf8;

create database oozie DEFAULT CHARACTER SET utf8;

create database hue DEFAULT CHARACTER SET utf8;

 

grant all on amon.* TO amon@'%' IDENTIFIED BY 'amon_password';

grant all on rman.* TO rman@'%' IDENTIFIED BY 'rman_password';

grant all on hive.* TO hive@'%' IDENTIFIED BY 'hive_password';

grant all on sentry.* TO sentry@'%' IDENTIFIED BY 'sentry_password';

grant all on nav.* TO nav@'%' IDENTIFIED BY 'nav_password';

grant all on navms.* TO navms@'%' IDENTIFIED BY 'navms_password';

grant all on oozie.* TO oozie@'%' IDENTIFIED BY 'oozie_password';

grant all on hue.* TO hue@'%' IDENTIFIED BY 'hue_password';

1.1.1   安裝時間同步服務1（OpenStack需要的時間服務器）

（1）在 時間服務器 上配置：

yum install chrony -y

vi /etc/chrony.conf

   server hadoop1 iburst

server s1a.time.edu.cn iburst    //改成這個或保持原來的都可以

allow 192.168/16                            //注意修改成合適的網段

注意：上面是控制節(jié)點的設置，其他節(jié)點的時間服務器指定為hadoop0

 

systemctl enable chronyd.service

systemctl start chronyd.service

chronyc sources

 

（2）設置時區(qū)

timedatectl set-timezone Asia/Shanghai

顯示時間

date

 

 

（3）在其他機器上的配置

yum install chrony -y

vi /etc/chrony.conf

server hadoop1 iburst

注意：上面是控制節(jié)點的設置，其他節(jié)點的時間服務器指定為hadoop0

 

systemctl enable chronyd.service

systemctl start chronyd.service

chronyc sources    查看時間服務器是否能同步了。

1.1.2   安裝時間服務2（這個是CDH需要的時間服務）

[root@CDH-DEV1 .ssh]# yum install ntp

 

【時間服務器服務端的設置】

修改配置文件：vi /etc/ntp.conf，修改以下部分

server time.asia.apple.com

server 127.127.1.0

fudge 127.127.1.0 stratum 11

參考：https://blog.csdn.net/chuan_day/article/details/55096426

 

【其他服務器的設置】

server 10.10.101.5 iburst

 

【設置開機啟動】

[root@CDH-DEV1 .ssh]# chkconfig ntpd on

 

【服務啟動】

[root@CDH-DEV1 .ssh]# service ntpd start

 

【重啟服務】

[root@CDH-DEV1 .ssh]# service ntpd restart

 

 

 

 

驗證命令：

CDH系統(tǒng)錯誤提示詳情頁面給的查看命令：ntpdc -np

一直查看同步的時間：watch ntpq -p     按ctrl+c結束查看

使用ntpstat 命令查看時間同步狀態(tài)，這個一般需要5-10分鐘后才能成功連接和同步。所以，服務器啟動后需要稍等下。

1.1.1   安裝Cloudera Manager Server 軟件（都安裝）

（1）新建目錄，考入壓縮包并解壓

mkdir /opt/cloudera-manager

cd /opt/cloudera-manager

考入壓縮包cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz拷貝

解壓縮tar zxvf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz

 

（2）創(chuàng)建CM Server系統(tǒng)用戶賬號

useradd --system --home=/opt/cloudera-manager/cm-5.12.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

Cdh5.8.0安裝：

useradd --system --home=/opt/cloudera-manager/cm-5.8.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

 

（3）創(chuàng)建CM Server的本地數據存儲目錄

mkdir -p /var/lib/cloudera-scm-server

chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

 

（4）配置所有節(jié)點上的Cloudera Manager Agents

sed -i 's/server_host=localhost/server_host=hadoop1/' /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent/config.ini

說明：上面的命令的意思是vi /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent/config.ini

vi /opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini

 

將里面的server_host=localhost 修改為server_host=hadoop1   設置CM的服務器名。

 

（5）創(chuàng)建和初始化CM Server數據庫

將mysql-connector-java-5.1.45-bin.jar 拷貝到  /opt/cloudera-manager/cm-5.12.0/share/cmf/lib

 

5.8的操作

   makedir -p /usr/share/java/

scp   mysql-connector-java-5.1.45-bin.jar root@hadoop1:/opt/cm-5.8.0/share/cmf/lib/

scp   mysql-connector-java-5.1.45-bin.jar root@hadoop1:/usr/share/java/

 

 

初始化腳本語法為：scm_prepare_database.sh database-type [options] database-name username password

命令如下：

/opt/cloudera-manager/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -uroot -padmin@123 scm scm scm

5.8的操作如下：

/opt/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh   mysql -hlocalhost -uroot -padmin@123 scm scm scm

 

注意：上面的數據庫的口令是admin@123 最后三個scm是數據庫名用戶名和口令。

命令執(zhí)行后的顯示結果如下：

JAVA_HOME=/usr/java/jdk1.7.0_80

Verifying that we can write to   /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server

Creating SCM configuration file in   /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server

Executing:    /usr/java/jdk1.7.0_80/bin/java -cp   /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cloudera-manager/cm-5.12.0/share/cmf/schema/../lib/*   com.cloudera.enterprise.dbutil.DbCommandExecutor   /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server/db.properties   com.cloudera.cmf.db.

[                            main] DbCommandExecutor                INFO  Successfully connected to   database.

All done, your SCM database is configured correctly!

 

登錄mysql （mysql -u root -padmin@123），增加一條對CM Server主機的訪問授權：

grant all on scm.* TO 'scm'@'hadoop1' IDENTIFIED BY 'scm';

 

登錄hadoop1節(jié)點配置CM Server的數據庫配置文件：

vi /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server/db.properties

vi /opt/cm-5.8.0/etc/cloudera-scm-server/db.properties

 

需要根據實際情況更新以下參數。

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=hadoop1

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=scm

com.cloudera.cmf.db.setupType=EXTERNAL

com.cloudera.cmf.db.password=scm

 

（6）創(chuàng)建CDH Parcel資源目錄

在hadoop1節(jié)點上：

mkdir -p /opt/cloudera/parcel-repo

cd /opt/cloudera/parcel-repo

 

將以下已經準備好的parcel資源文件放入該目錄：

CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel

CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha

manifest.json

 

設置該目錄的所屬用戶和組：

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

 

在其它所有節(jié)點上：

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

（7）啟動cloudera manager server and agents

直接使用root運行啟動腳本即可，腳本中已經默認設定為會切換到cloudera-scm用戶運行進程。

在所有節(jié)點上，先調整下文件屬主權限：

chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

 

安裝：yum install psmisc，否則提示pstree命令找不到（前面已經安裝過了就不用再裝了）

1.1.1.1     啟動server和agent

5.8.0的操作

scp -r   /opt/cm-5.8.0/ root@hadoop2:/opt/

 

 

 

在hadoop1節(jié)點上啟動CM Server：

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server  start

 

/opt/cm-5.8.0/etc/init.d/cloudera-scm-server  start

 

在所有節(jié)點上啟動CM agent：

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent  start

 

/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent  start

 

/opt/cm-5.8.0/etc/init.d/cloudera-scm-server   start

/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent   start

 

 

停止的操作:

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent stop

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server stop

 

注：在啟動上面的服務時，注意檢查進程是否運行，是否因報錯退出。可以檢查../../log/下面的日志文件，分析錯誤原因。

1.1.2   登錄http://10.10.101.1:7180 進行配置

登錄管理站點

注意：如果上面的啟動服務的命令剛執(zhí)行完，等一會這個站點才能完全啟動。

 

 

 

 

 

 

 

 

 

 

 

 

注意：上面選核心Hadoop可能安裝不過，建議選最后面的自定義，只選擇hdfs試一試。

HBase HDFS Oozie ZooKeeper

 

集群設置-自定義角色分配

 

注意：在根據情況進行選擇，這邊只裝了一臺。

 

集群設置-數據庫設置

 

在安裝CDH過程的分配這一步，總是遇到“主機運行狀態(tài)不良”的提示，解決辦法如下：

rm -f /opt/cloudera-manager/cm-5.12.0/lib/cloudera-scm-agent/cm_guid

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent  restart

 

1.1   錯誤解決

1.1.1   網絡接口速度 警告

 

 

操作：

（1）查看網卡情況：ethtool em1

（2）查看網卡情況：ifconfig | more 發(fā)現em2和em3有橋接情況

（3）查看橋接：brctl show

 

1.1.1   防止出錯的預防操作

cp /opt/cm-5.8.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hive/lib/

 

cp /opt/cm-5.8.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /var/lib/oozie/

 

1.1.2   啟動agent出錯

操作：mkdir /opt/cm-5.8.0/run/cloudera-scm-agent

 

1.1.3   主機狀態(tài)不良的解決辦法(ok)

rm -f /opt/cloudera-manager/cm-5.12.0/lib/cloudera-scm-agent/cm_guid

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent  restart

1.1.4   NFS Gateway啟動失敗

在要運行NFS Gateway的服務器上安裝：rpcbind

yum install rpcbind

service rpcbind start

systemctl enable rpcbind

1.1.5   Oozie客戶端不能訪問少ext

/opt/cloudera/parcels/CDH/lib/oozie/libext

把ext-2.2.zip 解壓縮后放到這個目錄。

1.1.6   oozie啟動失敗

（1） 拷貝mysql的驅動文件。

一個是需要把java的mysql的驅動jar文件拷貝到oozie的lib目錄中

/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/oozie/lib

 

（2） 在界面中點擊創(chuàng)建oozie的表

點到oozie里面，在操作中選擇創(chuàng)建oozie的表，然后再啟動oozie就能啟動了。

1.1.7   Yarn部署客戶端出錯

部署客戶端出錯：

需要yum install perl -y

 

查看日志：

 

1.1.8   Yarn啟動失敗

 

查看日志：

tail -f /var/log/hadoop-mapreduce/hadoop-cmf-yarn-JOBHISTORY-hadoop1.log.out

 

查看日志：不能創(chuàng)建目錄hdfs://hadoop1:8020/user/history/

解決辦法，手動創(chuàng)建？

su hdfs

hadoop fs -mkdir hdfs://hadoop1:8020/user/history/

點開yarn后，有命令操作可以通過CDH的界面創(chuàng)建。

1.1.9   Hive啟動失敗

（1）把mysql-connector-java-5.1.45-bin.jar 拷貝到

/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib

（2）創(chuàng)建hive需要的表：點Hive->操作->創(chuàng)建表，這個也是通過CDH的界面創(chuàng)建。

1.1.10      Hue啟動失敗

（1）還需要運行命令

yum install -y python-lxml

 

參考網址：http://www.rzrgm.cn/zhangyin6985/p/7357738.html

 

（2）創(chuàng)建目錄

mkdir -p /var/log/hue-httpd/

touch /var/log/hue-httpd/error_log

 

（3）安裝服務httpd，mod_ssl

yum install httpd mod_ssl -y

 

（4）安裝sasl，否則打開hue站點的時候有錯誤提示

yum install cyrus-sasl-devel

yum install cyrus-sasl-gssapi

重啟hue

 

yum install krb5-server.x86_64  krb5-devel.x86_64  （這個不需要？）

1.2   常用操作

1.2.1   日志

Agent日志：/opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-agent

Server日志：/opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-server

 

查看cm服務啟動日志

tail -f /opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-server/cloudera-scm-server.log

1.2.2   啟動停止服務

在hadoop0節(jié)點上啟動CM Server：

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server  start

在所有節(jié)點上啟動CM agent：

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent  start

 

停止的操作:

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent stop

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server stop

 

 

1     在線安裝

1.1   QuickStarts for CDH 5.12

https://www.cloudera.com/downloads/quickstart_vms/5-12.html

 

1.2   Cloudera Manager 5.14.1 （2018年2月26日）

1.2.1   安裝參考（官網參考+個人注釋）

安裝參考網址

https://www.cloudera.com/downloads/manager/5-8-0.html

 

Automated Installation

 

Ideal for trying Cloudera enterprise data hub, the installer will download Cloudera Manager from Cloudera's website and guide you through the setup process.

 

Pre-requisites: multiple, Internet-connected Linux machines, with SSH access, and significant free space in /var and /opt.

重做系統(tǒng)，把/目錄增加空間，這個是給/var和/opt目錄使用，/home減少了100G，給/增加了300G。

設置機器名為hadoop1       命令#vi /etc/hostname

重做系統(tǒng)后需要設置IP為192.168.0.100

用yum update升級后，發(fā)現centos的版本也升級了，變成centos7.4了，不能再裝CDH-5.8.0了。

重裝centos7.2系統(tǒng)，并安裝wget：yum install wget

設置IP為192.168.0.100，設置機器名為hadoop1

 

chmod +x /etc/rc.d/rc.local

并在rc.local中添加

echo 10 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

 

$ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

wget這個命名沒有安裝，需要先安裝

yum install wget

 

 $ chmod u+x cloudera-manager-installer.bin

修改文件權限，增加可執(zhí)行權限。

 

 $ sudo ./cloudera-manager-installer.bin

需要關閉防火墻

關閉selinux   

setenforce 0

vi /etc/selinux/config   修改保存后需要重啟。

可以執(zhí)行，安裝完畢后，提示訪問http://192.168.0.100:7180繼續(xù)安裝，用戶名口令是admin

不能訪問，關閉防火墻。systemctl stop   firewalld

關閉防火墻后可以正常訪問。

選擇安裝的時候選擇的有效期60天的中間的產品。

 

安裝成功，提示有兩個警告需要處理，警告如下：

         
   

Cloudera 建議將 /proc/sys/vm/swappiness 設置為最大值 10。當前設置為 60。使用 sysctl 命令在運行時更改該設置并編輯 /etc/sysctl.conf，以在重啟后保存該設置。您可以繼續(xù)進行安裝，但 Cloudera Manager 可能會報告您的主機由于交換而運行狀況不良。以下主機將受到影響：

   

hadoop1

   

已啟用透明大頁面壓縮，可能會導致重大性能問題。請運行“echo     never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never >     /sys/kernel/mm/transparent_hugepage/enabled”以禁用此設置，然后將同一命令添加到 /etc/rc.local 等初始化腳本中，以便在系統(tǒng)重啟時予以設置。以下主機將受到影響:

   

hadoop1