K8s高可用集群二進(jìn)制部署-V1.20

一、前置知識點

1.1 生產(chǎn)環(huán)境部署K8s集群的兩種方式

kubeadm

Kubeadm是一個K8s部署工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群。

二進(jìn)制包

從github下載發(fā)行版的二進(jìn)制包，手動部署每個組件，組成Kubernetes集群。

小結(jié)：Kubeadm降低部署門檻，但屏蔽了很多細(xì)節(jié)，遇到問題很難排查。如果想更容易可控，推薦使用二進(jìn)制包部署Kubernetes集群，雖然手動部署麻煩點，期間可以學(xué)習(xí)很多工作原理，也利于后期維護(hù)。

1.2準(zhǔn)備環(huán)境

服務(wù)器要求：

建議最小硬件配置：2核CPU、2G內(nèi)存、30G硬盤
服務(wù)器最好可以訪問外網(wǎng)，會有從網(wǎng)上拉取鏡像需求，如果服務(wù)器不能上網(wǎng)，需要提前下載對應(yīng)鏡像并導(dǎo)入節(jié)點

軟件環(huán)境：

軟件	版本
操作系統(tǒng)	CentOS7.x_x64 （mini）
容器引擎	Docker CE 19
Kubernetes	Kubernetes v1.20

服務(wù)器整體規(guī)劃：

角色	IP	組件
k8s-master1	192.168.31.71	kube-apiserver，kube-controller-manager，kube-scheduler，kubelet，kube-proxy，docker，etcd， nginx，keepalived
k8s-master2	192.168.31.74	kube-apiserver，kube-controller-manager，kube-scheduler，kubelet，kube-proxy，docker， nginx，keepalived
k8s-node1	192.168.31.72	kubelet，kube-proxy，docker，etcd
k8s-node2	192.168.31.73	kubelet，kube-proxy，docker，etcd
負(fù)載均衡器IP	192.168.31.88 (VIP)

須知：考慮到有些朋友電腦配置較低，一次性開四臺機(jī)器會跑不動，所以搭建這套K8s高可用集群分兩部分實施，先部署一套單Master架構(gòu)（3臺），再擴(kuò)容為多Master架構(gòu)（4臺或6臺），順便再熟悉下Master擴(kuò)容流程。

單Master架構(gòu)圖：

單Master服務(wù)器規(guī)劃：

角色	IP	組件
k8s-master	192.168.31.71	kube-apiserver，kube-controller-manager，kube-scheduler，etcd
k8s-node1	192.168.31.72	kubelet，kube-proxy，docker，etcd
k8s-node2	192.168.31.73	kubelet，kube-proxy，docker，etcd

1.3 操作系統(tǒng)初始化配置

# 關(guān)閉防火墻 
systemctl stop firewalld 
systemctl disable firewalld 
# 關(guān)閉selinux 
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久 
setenforce 0  # 臨時 
# 關(guān)閉swap 
swapoff -a  # 臨時 
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久 
# 根據(jù)規(guī)劃設(shè)置主機(jī)名 
hostnamectl set-hostname <hostname> 
# 在master添加hosts 
cat >> /etc/hosts << EOF 
192.168.31.71 k8s-master1 
192.168.31.72 k8s-node1 
192.168.31.73 k8s-node2 
EOF 
# 將橋接的IPv4流量傳遞到iptables的鏈 
cat > /etc/sysctl.d/k8s.conf << EOF 
net.bridge.bridge-nf-call-ip6tables = 1 
net.bridge.bridge-nf-call-iptables = 1 
EOF 
sysctl --system  # 生效 
# 時間同步 
yum install ntpdate -y 
ntpdate time.windows.com

二、部署Etcd集群

Etcd 是一個分布式鍵值存儲系統(tǒng)，Kubernetes使用Etcd進(jìn)行數(shù)據(jù)存儲，所以先準(zhǔn)備一個Etcd數(shù)據(jù)庫，為解決Etcd單點故障，應(yīng)采用集群方式部署，這里使用3臺組建集群，可容忍1臺機(jī)器故障，當(dāng)然，你也可以使用5臺組建集群，可容忍2臺機(jī)器故障。

節(jié)點名稱	IP
etcd-1	192.168.31.71
etcd-2	192.168.31.72
etcd-3	192.168.31.73

注：為了節(jié)省機(jī)器，這里與K8s節(jié)點機(jī)器復(fù)用。也可以獨立于k8s集群之外部署，只要apiserver能連接到就行。|

2.1 準(zhǔn)備cfssl證書生成工具

cfssl是一個開源的證書管理工具，使用json文件生成證書，相比openssl更方便使用。

找任意一臺服務(wù)器操作，這里用Master節(jié)點。

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
mv cfssl-certinfo_linux-amd64 /usr/bin/cfssl-certinfo

2.2 生成Etcd證書

1. 自簽證書頒發(fā)機(jī)構(gòu)（CA）

創(chuàng)建工作目錄：

mkdir -p ~/TLS/{etcd,k8s}
cd ~/TLS/etcd

自簽CA：

cat > ca-config.json << EOF
{
  "signing": {
	"default": {
	  "expiry": "87600h"
	},
	"profiles": {
	  "www": {
		 "expiry": "87600h",
		 "usages": [
			"signing",
			"key encipherment",
			"server auth",
			"client auth"
		]
	  }
	}
  }
}
EOF
cat > ca-csr.json << EOF
{
	"CN": "etcd CA",
	"key": {
		"algo": "rsa",
		"size": 2048
	},
	"names": [
		{
			"C": "CN",
			"L": "Beijing",
			"ST": "Beijing"
		}
	]
}
EOF

生成證書：

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

會生成ca.pem和ca-key.pem文件。

2. 使用自簽CA簽發(fā)Etcd HTTPS證書

創(chuàng)建證書申請文件：

cat > server-csr.json << EOF
{
	"CN": "etcd",
	"hosts": [
	"192.168.31.71",
	"192.168.31.72",
	"192.168.31.73"
	],
	"key": {
		"algo": "rsa",
		"size": 2048
	},
	"names": [
		{
			"C": "CN",
			"L": "BeiJing",
			"ST": "BeiJing"
		}
	]
}
EOF

注：上述文件hosts字段中IP為所有etcd節(jié)點的集群內(nèi)部通信IP，一個都不能少！為了方便后期擴(kuò)容可以多寫幾個預(yù)留的IP。

生成證書：

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server

會生成server.pem和server-key.pem文件。

2.3 從Github下載二進(jìn)制文件

下載地址：https://github.com/etcd-io/etcd/releases/download/v3.4.9/etcd-v3.4.9-linux-amd64.tar.gz

2.4 部署Etcd集群

以下在節(jié)點1上操作，為簡化操作，待會將節(jié)點1生成的所有文件拷貝到節(jié)點2和節(jié)點3.

1. 創(chuàng)建工作目錄并解壓二進(jìn)制包

mkdir /opt/etcd/{bin,cfg,ssl} -p
tar zxvf etcd-v3.4.9-linux-amd64.tar.gz
mv etcd-v3.4.9-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/

2. 創(chuàng)建etcd配置文件

cat > /opt/etcd/cfg/etcd.conf << EOF
#[Member]
ETCD_NAME="etcd-1"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.31.71:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.31.71:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.31.71:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.31.71:2379"
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.31.71:2380,etcd-2=https://192.168.31.72:2380,etcd-3=https://192.168.31.73:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF

ETCD_NAME：節(jié)點名稱，集群中唯一
ETCD_DATA_DIR：數(shù)據(jù)目錄
ETCD_LISTEN_PEER_URLS：集群通信監(jiān)聽地址
ETCD_LISTEN_CLIENT_URLS：客戶端訪問監(jiān)聽地址
ETCD_INITIAL_ADVERTISE_PEERURLS：集群通告地址
ETCD_ADVERTISE_CLIENT_URLS：客戶端通告地址
ETCD_INITIAL_CLUSTER：集群節(jié)點地址
ETCD_INITIALCLUSTER_TOKEN：集群Token
ETCD_INITIALCLUSTER_STATE：加入集群的當(dāng)前狀態(tài)，new是新集群，existing表示加入已有集群

3. systemd管理etcd

cat > /usr/lib/systemd/system/etcd.service << EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
EnvironmentFile=/opt/etcd/cfg/etcd.conf
ExecStart=/opt/etcd/bin/etcd \
--cert-file=/opt/etcd/ssl/server.pem \
--key-file=/opt/etcd/ssl/server-key.pem \
--peer-cert-file=/opt/etcd/ssl/server.pem \
--peer-key-file=/opt/etcd/ssl/server-key.pem \
--trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \
--logger=zap
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

4. 拷貝剛才生成的證書

把剛才生成的證書拷貝到配置文件中的路徑：

cp ~/TLS/etcd/ca*pem ~/TLS/etcd/server*pem /opt/etcd/ssl/

5. 啟動并設(shè)置開機(jī)啟動

systemctl daemon-reload
systemctl start etcd
systemctl enable etcd

6. 將上面節(jié)點1所有生成的文件拷貝到節(jié)點2和節(jié)點3

scp -r /opt/etcd/ root@192.168.31.72:/opt/
scp /usr/lib/systemd/system/etcd.service root@192.168.31.72:/usr/lib/systemd/system/
scp -r /opt/etcd/ root@192.168.31.73:/opt/
scp /usr/lib/systemd/system/etcd.service root@192.168.31.73:/usr/lib/systemd/system/

然后在節(jié)點2和節(jié)點3分別修改etcd.conf配置文件中的節(jié)點名稱和當(dāng)前服務(wù)器IP：

vi /opt/etcd/cfg/etcd.conf
#[Member]
ETCD_NAME="etcd-1"   # 修改此處，節(jié)點2改為etcd-2，節(jié)點3改為etcd-3
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.31.71:2380"   # 修改此處為當(dāng)前服務(wù)器IP
ETCD_LISTEN_CLIENT_URLS="https://192.168.31.71:2379" # 修改此處為當(dāng)前服務(wù)器IP
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.31.71:2380" # 修改此處為當(dāng)前服務(wù)器IP
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.31.71:2379" # 修改此處為當(dāng)前服務(wù)器IP
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.31.71:2380,etcd-2=https://192.168.31.72:2380,etcd-3=https://192.168.31.73:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

最后啟動etcd并設(shè)置開機(jī)啟動，同上。

7. 查看集群狀態(tài)

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.31.71:2379,https://192.168.31.72:2379,https://192.168.31.73:2379" endpoint health --write-out=table
+----------------------------+--------+-------------+-------+
|          ENDPOINT    | HEALTH |    TOOK     | ERROR |
+----------------------------+--------+-------------+-------+
| https://192.168.31.71:2379 |   true | 10.301506ms |    |
| https://192.168.31.73:2379 |   true | 12.87467ms |     |
| https://192.168.31.72:2379 |   true | 13.225954ms |    |
+----------------------------+--------+-------------+-------+

如果輸出上面信息，就說明集群部署成功。

如果有問題第一步先看日志：/var/log/message 或 journalctl -u etcd

三、安裝Docker

這里使用Docker作為容器引擎，也可以換成別的，例如containerd

下載地址：https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz

以下在所有節(jié)點操作。這里采用二進(jìn)制安裝，用yum安裝也一樣。

3.1 解壓二進(jìn)制包

tar zxvf docker-19.03.9.tgz
mv docker/* /usr/bin

3.2 systemd管理docker

cat > /usr/lib/systemd/system/docker.service << EOF
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
EOF

3.3 創(chuàng)建配置文件

mkdir /etc/docker
cat > /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF

registry-mirrors 阿里云鏡像加速器

3.4 啟動并設(shè)置開機(jī)啟動

systemctl daemon-reload
systemctl start docker
systemctl enable docker

四、部署Master Node

如果你在學(xué)習(xí)中遇到問題或者文檔有誤可聯(lián)系wsj~ 微信: XWALY-5

4.1 生成kube-apiserver證書

1. 自簽證書頒發(fā)機(jī)構(gòu)（CA）

cd ~/TLS/k8s
cat > ca-config.json << EOF
{
  "signing": {
	"default": {
	  "expiry": "87600h"
	},
	"profiles": {
	  "kubernetes": {
		 "expiry": "87600h",
		 "usages": [
			"signing",
			"key encipherment",
			"server auth",
			"client auth"
		]
	  }
	}
  }
}
EOF
cat > ca-csr.json << EOF
{
	"CN": "kubernetes",
	"key": {
		"algo": "rsa",
		"size": 2048
	},
	"names": [
		{
			"C": "CN",
			"L": "Beijing",
			"ST": "Beijing",
			"O": "k8s",
			"OU": "System"
		}
	]
}
EOF

生成證書：

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

會生成ca.pem和ca-key.pem文件。

2. 使用自簽CA簽發(fā)kube-apiserver HTTPS證書

創(chuàng)建證書申請文件：

cat > server-csr.json << EOF
{
	"CN": "kubernetes",
	"hosts": [
	  "10.0.0.1",
	  "127.0.0.1",
	  "192.168.31.71",
	  "192.168.31.72",
	  "192.168.31.73",
	  "192.168.31.88",
	  "kubernetes",
	  "kubernetes.default",
	  "kubernetes.default.svc",
	  "kubernetes.default.svc.cluster",
	  "kubernetes.default.svc.cluster.local"
	],
	"key": {
		"algo": "rsa",
		"size": 2048
	},
	"names": [
		{
			"C": "CN",
			"L": "BeiJing",
			"ST": "BeiJing",
			"O": "k8s",
			"OU": "System"
		}
	]
}
EOF

注：上述文件hosts字段中IP為所有Master/LB/VIP IP，一個都不能少！為了方便后期擴(kuò)容可以多寫幾個預(yù)留的IP。

生成證書：

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

會生成server.pem和server-key.pem文件。

4.2 從Github下載二進(jìn)制文件

下載地址： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.20.md

注：打開鏈接你會發(fā)現(xiàn)里面有很多包，下載一個server包就夠了，包含了Master和Worker Node二進(jìn)制文件。

4.3 解壓二進(jìn)制包

mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs} 
tar zxvf kubernetes-server-linux-amd64.tar.gz
cd kubernetes/server/bin
cp kube-apiserver kube-scheduler kube-controller-manager /opt/kubernetes/bin
cp kubectl /usr/bin/

4.4 部署kube-apiserver

1. 創(chuàng)建配置文件

cat > /opt/kubernetes/cfg/kube-apiserver.conf << EOF
KUBE_APISERVER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--etcd-servers=https://192.168.31.71:2379,https://192.168.31.72:2379,https://192.168.31.73:2379 \\
--bind-address=192.168.31.71 \\
--secure-port=6443 \\
--advertise-address=192.168.31.71 \\
--allow-privileged=true \\
--service-cluster-ip-range=10.0.0.0/24 \\
--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \\
--authorization-mode=RBAC,Node \\
--enable-bootstrap-token-auth=true \\
--token-auth-file=/opt/kubernetes/cfg/token.csv \\
--service-node-port-range=30000-32767 \\
--kubelet-client-certificate=/opt/kubernetes/ssl/server.pem \\
--kubelet-client-key=/opt/kubernetes/ssl/server-key.pem \\
--tls-cert-file=/opt/kubernetes/ssl/server.pem  \\
--tls-private-key-file=/opt/kubernetes/ssl/server-key.pem \\
--client-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--service-account-issuer=api \\
--service-account-signing-key-file=/opt/kubernetes/ssl/server-key.pem \\
--etcd-cafile=/opt/etcd/ssl/ca.pem \\
--etcd-certfile=/opt/etcd/ssl/server.pem \\
--etcd-keyfile=/opt/etcd/ssl/server-key.pem \\
--requestheader-client-ca-file=/opt/kubernetes/ssl/ca.pem \\
--proxy-client-cert-file=/opt/kubernetes/ssl/server.pem \\
--proxy-client-key-file=/opt/kubernetes/ssl/server-key.pem \\
--requestheader-allowed-names=kubernetes \\
--requestheader-extra-headers-prefix=X-Remote-Extra- \\
--requestheader-group-headers=X-Remote-Group \\
--requestheader-username-headers=X-Remote-User \\
--enable-aggregator-routing=true \\
--audit-log-maxage=30 \\
--audit-log-maxbackup=3 \\
--audit-log-maxsize=100 \\
--audit-log-path=/opt/kubernetes/logs/k8s-audit.log"
EOF

注：上面兩個\ \ 第一個是轉(zhuǎn)義符，第二個是換行符，使用轉(zhuǎn)義符是為了使用EOF保留換行符。

—logtostderr：啟用日志
—-v：日志等級
—log-dir：日志目錄
—etcd-servers：etcd集群地址
—bind-address：監(jiān)聽地址
—secure-port：https安全端口
—advertise-address：集群通告地址
—allow-privileged：啟用授權(quán)
—service-cluster-ip-range：Service虛擬IP地址段
—enable-admission-plugins：準(zhǔn)入控制模塊
—authorization-mode：認(rèn)證授權(quán)，啟用RBAC授權(quán)和節(jié)點自管理
—enable-bootstrap-token-auth：啟用TLS bootstrap機(jī)制
—token-auth-file：bootstrap token文件
—service-node-port-range：Service nodeport類型默認(rèn)分配端口范圍
—kubelet-client-xxx：apiserver訪問kubelet客戶端證書
—tls-xxx-file：apiserver https證書
1.20版本必須加的參數(shù)：—service-account-issuer，—service-account-signing-key-file
—etcd-xxxfile：連接Etcd集群證書
—audit-log-xxx：審計日志
啟動聚合層相關(guān)配置：—requestheader-client-ca-file，—proxy-client-cert-file，—proxy-client-key-file，—requestheader-allowed-names，—requestheader-extra-headers-prefix，—requestheader-group-headers，—requestheader-username-headers，—enable-aggregator-routing

2. 拷貝剛才生成的證書

把剛才生成的證書拷貝到配置文件中的路徑：

cp ~/TLS/k8s/ca*pem ~/TLS/k8s/server*pem /opt/kubernetes/ssl/

3. 啟用 TLS Bootstrapping 機(jī)制

TLS Bootstraping：Master apiserver啟用TLS認(rèn)證后，Node節(jié)點kubelet和kube-proxy要與kube-apiserver進(jìn)行通信，必須使用CA簽發(fā)的有效證書才可以，當(dāng)Node節(jié)點很多時，這種客戶端證書頒發(fā)需要大量工作，同樣也會增加集群擴(kuò)展復(fù)雜度。為了簡化流程，Kubernetes引入了TLS bootstraping機(jī)制來自動頒發(fā)客戶端證書，kubelet會以一個低權(quán)限用戶自動向apiserver申請證書，kubelet的證書由apiserver動態(tài)簽署。所以強(qiáng)烈建議在Node上使用這種方式，目前主要用于kubelet，kube-proxy還是由我們統(tǒng)一頒發(fā)一個證書。

TLS bootstraping 工作流程：

創(chuàng)建上述配置文件中token文件：

cat > /opt/kubernetes/cfg/token.csv << EOF
c47ffb939f5ca36231d9e3121a252940,kubelet-bootstrap,10001,"system:node-bootstrapper"
EOF

格式：token，用戶名，UID，用戶組

token也可自行生成替換：

head -c 16 /dev/urandom | od -An -t x | tr -d ' '

4. systemd管理apiserver

cat > /usr/lib/systemd/system/kube-apiserver.service << EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-apiserver.conf
ExecStart=/opt/kubernetes/bin/kube-apiserver \$KUBE_APISERVER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

5. 啟動并設(shè)置開機(jī)啟動

systemctl daemon-reload
systemctl start kube-apiserver 
systemctl enable kube-apiserver

4.5 部署kube-controller-manager

1. 創(chuàng)建配置文件

cat > /opt/kubernetes/cfg/kube-controller-manager.conf << EOF
KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--leader-elect=true \\
--kubeconfig=/opt/kubernetes/cfg/kube-controller-manager.kubeconfig \\
--bind-address=127.0.0.1 \\
--allocate-node-cidrs=true \\
--cluster-cidr=10.244.0.0/16 \\
--service-cluster-ip-range=10.0.0.0/24 \\
--cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \\
--cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem  \\
--root-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--cluster-signing-duration=87600h0m0s"
EOF

—kubeconfig：連接apiserver配置文件
—leader-elect：當(dāng)該組件啟動多個時，自動選舉（HA）
—cluster-signing-cert-file/—cluster-signing-key-file：自動為kubelet頒發(fā)證書的CA，與apiserver保持一致

2. 生成kubeconfig文件

生成kube-controller-manager證書：

# 切換工作目錄
cd ~/TLS/k8s
# 創(chuàng)建證書請求文件
cat > kube-controller-manager-csr.json << EOF
{
  "CN": "system:kube-controller-manager",
  "hosts": [],
  "key": {
	"algo": "rsa",
	"size": 2048
  },
  "names": [
	{
	  "C": "CN",
	  "L": "BeiJing", 
	  "ST": "BeiJing",
	  "O": "system:masters",
	  "OU": "System"
	}
  ]
}
EOF
# 生成證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-controller-manager-csr.json | cfssljson -bare kube-controller-manager

生成kubeconfig文件（以下是shell命令，直接在終端執(zhí)行）：

KUBE_CONFIG="/opt/kubernetes/cfg/kube-controller-manager.kubeconfig"
KUBE_APISERVER="https://192.168.31.71:6443"
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials kube-controller-manager \
  --client-certificate=./kube-controller-manager.pem \
  --client-key=./kube-controller-manager-key.pem \
  --embed-certs=true \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-controller-manager \
  --kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

3. systemd管理controller-manager

cat > /usr/lib/systemd/system/kube-controller-manager.service << EOF
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-controller-manager.conf
ExecStart=/opt/kubernetes/bin/kube-controller-manager \$KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

4. 啟動并設(shè)置開機(jī)啟動

systemctl daemon-reload
systemctl start kube-controller-manager
systemctl enable kube-controller-manager

4.6 部署kube-scheduler

1. 創(chuàng)建配置文件

cat > /opt/kubernetes/cfg/kube-scheduler.conf << EOF
KUBE_SCHEDULER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--leader-elect \\
--kubeconfig=/opt/kubernetes/cfg/kube-scheduler.kubeconfig \\
--bind-address=127.0.0.1"
EOF

—kubeconfig：連接apiserver配置文件
—leader-elect：當(dāng)該組件啟動多個時，自動選舉（HA）

2. 生成kubeconfig文件

生成kube-scheduler證書：

# 切換工作目錄
cd ~/TLS/k8s
# 創(chuàng)建證書請求文件
cat > kube-scheduler-csr.json << EOF
{
  "CN": "system:kube-scheduler",
  "hosts": [],
  "key": {
	"algo": "rsa",
	"size": 2048
  },
  "names": [
	{
	  "C": "CN",
	  "L": "BeiJing",
	  "ST": "BeiJing",
	  "O": "system:masters",
	  "OU": "System"
	}
  ]
}
EOF
# 生成證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-scheduler-csr.json | cfssljson -bare kube-scheduler

生成kubeconfig文件（以下是shell命令，直接在終端執(zhí)行）：

KUBE_CONFIG="/opt/kubernetes/cfg/kube-scheduler.kubeconfig"
KUBE_APISERVER="https://192.168.31.71:6443"
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials kube-scheduler \
  --client-certificate=./kube-scheduler.pem \
  --client-key=./kube-scheduler-key.pem \
  --embed-certs=true \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-scheduler \
  --kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

3. systemd管理scheduler

cat > /usr/lib/systemd/system/kube-scheduler.service << EOF
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-scheduler.conf
ExecStart=/opt/kubernetes/bin/kube-scheduler \$KUBE_SCHEDULER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

4. 啟動并設(shè)置開機(jī)啟動

systemctl daemon-reload
systemctl start kube-scheduler
systemctl enable kube-scheduler

5. 查看集群狀態(tài)

生成kubectl連接集群的證書：

cat > admin-csr.json <<EOF
{
  "CN": "admin",
  "hosts": [],
  "key": {
	"algo": "rsa",
	"size": 2048
  },
  "names": [
	{
	  "C": "CN",
	  "L": "BeiJing",
	  "ST": "BeiJing",
	  "O": "system:masters",
	  "OU": "System"
	}
  ]
}
EOF
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin

生成kubeconfig文件：

mkdir /root/.kube
KUBE_CONFIG="/root/.kube/config"
KUBE_APISERVER="https://192.168.31.71:6443"
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials cluster-admin \
  --client-certificate=./admin.pem \
  --client-key=./admin-key.pem \
  --embed-certs=true \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \
  --cluster=kubernetes \
  --user=cluster-admin \
  --kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

通過kubectl工具查看當(dāng)前集群組件狀態(tài)：

kubectl get cs
NAME                STATUS    MESSAGE             ERROR
scheduler             Healthy   ok                  
controller-manager       Healthy   ok                  
etcd-2               Healthy   {"health":"true"}   
etcd-1               Healthy   {"health":"true"}   
etcd-0               Healthy   {"health":"true"}

如上輸出說明Master節(jié)點組件運(yùn)行正常。

6. 授權(quán)kubelet-bootstrap用戶允許請求證書

kubectl create clusterrolebinding kubelet-bootstrap \
--clusterrole=system:node-bootstrapper \
--user=kubelet-bootstrap

五、部署Worker Node

如果你在學(xué)習(xí)中遇到問題或者文檔有誤可聯(lián)系阿良~ 微信: xyz12366699

下面還是在Master Node上操作，即同時作為Worker Node

5.1 創(chuàng)建工作目錄并拷貝二進(jìn)制文件

在所有worker node創(chuàng)建工作目錄：

mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

從master節(jié)點拷貝：

cd kubernetes/server/bin
cp kubelet kube-proxy /opt/kubernetes/bin   # 本地拷貝

5.2 部署kubelet

1. 創(chuàng)建配置文件

cat > /opt/kubernetes/cfg/kubelet.conf << EOF
KUBELET_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--hostname-override=k8s-master1 \\
--network-plugin=cni \\
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \\
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \\
--config=/opt/kubernetes/cfg/kubelet-config.yml \\
--cert-dir=/opt/kubernetes/ssl \\
--pod-infra-container-image=lizhenliang/pause-amd64:3.0"
EOF

—hostname-override：顯示名稱，集群中唯一
—network-plugin：啟用CNI
—kubeconfig：空路徑，會自動生成，后面用于連接apiserver
—bootstrap-kubeconfig：首次啟動向apiserver申請證書
—config：配置參數(shù)文件
—cert-dir：kubelet證書生成目錄
—pod-infra-container-image：管理Pod網(wǎng)絡(luò)容器的鏡像

2. 配置參數(shù)文件

cat > /opt/kubernetes/cfg/kubelet-config.yml << EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 0.0.0.0
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS:
- 10.0.0.2
clusterDomain: cluster.local 
failSwapOn: false
authentication:
  anonymous:
	enabled: false
  webhook:
	cacheTTL: 2m0s
	enabled: true
  x509:
	clientCAFile: /opt/kubernetes/ssl/ca.pem 
authorization:
  mode: Webhook
  webhook:
	cacheAuthorizedTTL: 5m0s
	cacheUnauthorizedTTL: 30s
evictionHard:
  imagefs.available: 15%
  memory.available: 100Mi
  nodefs.available: 10%
  nodefs.inodesFree: 5%
maxOpenFiles: 1000000
maxPods: 110
EOF

3. 生成kubelet初次加入集群引導(dǎo)kubeconfig文件

KUBE_CONFIG="/opt/kubernetes/cfg/bootstrap.kubeconfig"
KUBE_APISERVER="https://192.168.31.71:6443" # apiserver IP:PORT
TOKEN="c47ffb939f5ca36231d9e3121a252940" # 與token.csv里保持一致
# 生成 kubelet bootstrap kubeconfig 配置文件
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials "kubelet-bootstrap" \
  --token=${TOKEN} \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \
  --cluster=kubernetes \
  --user="kubelet-bootstrap" \
  --kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

4. systemd管理kubelet

cat > /usr/lib/systemd/system/kubelet.service << EOF
[Unit]
Description=Kubernetes Kubelet
After=docker.service
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf
ExecStart=/opt/kubernetes/bin/kubelet \$KUBELET_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

5. 啟動并設(shè)置開機(jī)啟動

systemctl daemon-reload
systemctl start kubelet
systemctl enable kubelet

5.3 批準(zhǔn)kubelet證書申請并加入集群

# 查看kubelet證書請求
kubectl get csr
NAME                                                   AGE    SIGNERNAME                                    REQUESTOR           CONDITION
node-csr-uCEGPOIiDdlLODKts8J658HrFq9CZ--K6M4G7bjhk8A   6m3s   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending
# 批準(zhǔn)申請
kubectl certificate approve node-csr-uCEGPOIiDdlLODKts8J658HrFq9CZ--K6M4G7bjhk8A
# 查看節(jié)點
kubectl get node
NAME         STATUS     ROLES    AGE   VERSION
k8s-master1   NotReady   <none>   7s    v1.18.3

注：由于網(wǎng)絡(luò)插件還沒有部署，節(jié)點會沒有準(zhǔn)備就緒 NotReady

5.4 部署kube-proxy

1. 創(chuàng)建配置文件

cat > /opt/kubernetes/cfg/kube-proxy.conf << EOF
KUBE_PROXY_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--config=/opt/kubernetes/cfg/kube-proxy-config.yml"
EOF

2. 配置參數(shù)文件

cat > /opt/kubernetes/cfg/kube-proxy-config.yml << EOF
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
metricsBindAddress: 0.0.0.0:10249
clientConnection:
  kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig
hostnameOverride: k8s-master1
clusterCIDR: 10.0.0.0/24
EOF

3. 生成kube-proxy.kubeconfig文件

生成kube-proxy證書：

# 切換工作目錄
cd ~/TLS/k8s
# 創(chuàng)建證書請求文件
cat > kube-proxy-csr.json << EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
	"algo": "rsa",
	"size": 2048
  },
  "names": [
	{
	  "C": "CN",
	  "L": "BeiJing",
	  "ST": "BeiJing",
	  "O": "k8s",
	  "OU": "System"
	}
  ]
}
EOF
# 生成證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy
生成kubeconfig文件：
KUBE_CONFIG="/opt/kubernetes/cfg/kube-proxy.kubeconfig"
KUBE_APISERVER="https://192.168.31.71:6443"
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials kube-proxy \
  --client-certificate=./kube-proxy.pem \
  --client-key=./kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

4. systemd管理kube-proxy

cat > /usr/lib/systemd/system/kube-proxy.service << EOF
[Unit]
Description=Kubernetes Proxy
After=network.target
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf
ExecStart=/opt/kubernetes/bin/kube-proxy \$KUBE_PROXY_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

5. 啟動并設(shè)置開機(jī)啟動

systemctl daemon-reload
systemctl start kube-proxy
systemctl enable kube-proxy

5.5 部署網(wǎng)絡(luò)組件

Calico是一個純?nèi)龑拥臄?shù)據(jù)中心網(wǎng)絡(luò)方案，是目前Kubernetes主流的網(wǎng)絡(luò)方案。

部署Calico：

kubectl apply -f calico.yaml
kubectl get pods -n kube-system

等Calico Pod都Running，節(jié)點也會準(zhǔn)備就緒：

kubectl get node
NAME         STATUS   ROLES    AGE   VERSION
k8s-master   Ready    <none>   37m   v1.20.4

5.6 授權(quán)apiserver訪問kubelet

應(yīng)用場景：例如kubectl logs

cat > apiserver-to-kubelet-rbac.yaml << EOF
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  annotations:
	rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
	kubernetes.io/bootstrapping: rbac-defaults
  name: system:kube-apiserver-to-kubelet
rules:
  - apiGroups:
	  - ""
	resources:
	  - nodes/proxy
	  - nodes/stats
	  - nodes/log
	  - nodes/spec
	  - nodes/metrics
	  - pods/log
	verbs:
	  - "*"
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: system:kube-apiserver
  namespace: ""
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:kube-apiserver-to-kubelet
subjects:
  - apiGroup: rbac.authorization.k8s.io
	kind: User
	name: kubernetes
EOF
kubectl apply -f apiserver-to-kubelet-rbac.yaml

5.7 新增加Worker Node

1. 拷貝已部署好的Node相關(guān)文件到新節(jié)點

在Master節(jié)點將Worker Node涉及文件拷貝到新節(jié)點192.168.31.72/73

scp -r /opt/kubernetes root@192.168.31.72:/opt/
scp -r /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@192.168.31.72:/usr/lib/systemd/system
scp /opt/kubernetes/ssl/ca.pem root@192.168.31.72:/opt/kubernetes/ssl

2. 刪除kubelet證書和kubeconfig文件

rm -f /opt/kubernetes/cfg/kubelet.kubeconfig 
rm -f /opt/kubernetes/ssl/kubelet*

注：這幾個文件是證書申請審批后自動生成的，每個Node不同，必須刪除

3. 修改主機(jī)名

vi /opt/kubernetes/cfg/kubelet.conf
--hostname-override=k8s-node1
vi /opt/kubernetes/cfg/kube-proxy-config.yml
hostnameOverride: k8s-node1

4. 啟動并設(shè)置開機(jī)啟動

systemctl daemon-reload
systemctl start kubelet kube-proxy
systemctl enable kubelet kube-proxy

5. 在Master上批準(zhǔn)新Node kubelet證書申請

# 查看證書請求
kubectl get csr
NAME           AGE   SIGNERNAME                    REQUESTOR           CONDITION
node-csr-4zTjsaVSrhuyhIGqsefxzVoZDCNKei-aE2jyTP81Uro   89s   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending
# 授權(quán)請求
kubectl certificate approve node-csr-4zTjsaVSrhuyhIGqsefxzVoZDCNKei-aE2jyTP81Uro

6. 查看Node狀態(tài)

kubectl get node
NAME       STATUS   ROLES    AGE     VERSION
k8s-master1   Ready    <none>   47m     v1.20.4
k8s-node1    Ready    <none>   6m49s   v1.20.4

Node2（192.168.31.73 ）節(jié)點同上。記得修改主機(jī)名！

六、部署Dashboard和CoreDNS

6.1 部署Dashboard

kubectl apply -f kubernetes-dashboard.yaml
# 查看部署
kubectl get pods,svc -n kubernetes-dashboard

訪問地址：https://NodeIP:30001

創(chuàng)建service account并綁定默認(rèn)cluster-admin管理員集群角色：

kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

使用輸出的token登錄Dashboard。

6.2 部署CoreDNS

CoreDNS用于集群內(nèi)部Service名稱解析。

kubectl apply -f coredns.yaml 
kubectl get pods -n kube-system  
NAME                          READY   STATUS    RESTARTS   AGE 
coredns-5ffbfd976d-j6shb      1/1     Running   0          32s

DNS解析測試：

kubectl run -it --rm dns-test --image=busybox:1.28.4 sh 
If you don't see a command prompt, try pressing enter. 
/ # nslookup kubernetes 
Server:    10.0.0.2 
Address 1: 10.0.0.2 kube-dns.kube-system.svc.cluster.local 
Name:      kubernetes 
Address 1: 10.0.0.1 kubernetes.default.svc.cluster.local

解析沒問題。

至此一個單Master集群就搭建完成了！這個環(huán)境就足以滿足學(xué)習(xí)實驗了，如果你的服務(wù)器配置較高，可繼續(xù)擴(kuò)容多Master集群！

七、擴(kuò)容多Master（高可用架構(gòu)）

Kubernetes作為容器集群系統(tǒng)，通過健康檢查+重啟策略實現(xiàn)了Pod故障自我修復(fù)能力，通過調(diào)度算法實現(xiàn)將Pod分布式部署，并保持預(yù)期副本數(shù)，根據(jù)Node失效狀態(tài)自動在其他Node拉起Pod，實現(xiàn)了應(yīng)用層的高可用性。

針對Kubernetes集群，高可用性還應(yīng)包含以下兩個層面的考慮：Etcd數(shù)據(jù)庫的高可用性和Kubernetes Master組件的高可用性。而Etcd我們已經(jīng)采用3個節(jié)點組建集群實現(xiàn)高可用，本節(jié)將對Master節(jié)點高可用進(jìn)行說明和實施。

Master節(jié)點扮演著總控中心的角色，通過不斷與工作節(jié)點上的Kubelet和kube-proxy進(jìn)行通信來維護(hù)整個集群的健康工作狀態(tài)。如果Master節(jié)點故障，將無法使用kubectl工具或者API做任何集群管理。

Master節(jié)點主要有三個服務(wù)kube-apiserver、kube-controller-manager和kube-scheduler，其中kube-controller-manager和kube-scheduler組件自身通過選擇機(jī)制已經(jīng)實現(xiàn)了高可用，所以Master高可用主要針對kube-apiserver組件，而該組件是以HTTP API提供服務(wù)，因此對他高可用與Web服務(wù)器類似，增加負(fù)載均衡器對其負(fù)載均衡即可，并且可水平擴(kuò)容。

多Master架構(gòu)圖：

7.1 部署Master2 Node

現(xiàn)在需要再增加一臺新服務(wù)器，作為Master2 Node，IP是192.168.31.74。

為了節(jié)省資源你也可以將之前部署好的Worker Node1復(fù)用為Master2 Node角色（即部署Master組件）

Master2 與已部署的Master1所有操作一致。所以我們只需將Master1所有K8s文件拷貝過來，再修改下服務(wù)器IP和主機(jī)名啟動即可。

1. 安裝Docker

scp /usr/bin/docker* root@192.168.31.74:/usr/bin
scp /usr/bin/runc root@192.168.31.74:/usr/bin
scp /usr/bin/containerd* root@192.168.31.74:/usr/bin
scp /usr/lib/systemd/system/docker.service root@192.168.31.74:/usr/lib/systemd/system
scp -r /etc/docker root@192.168.31.74:/etc
# 在Master2啟動Docker
systemctl daemon-reload
systemctl start docker
systemctl enable docker

2. 創(chuàng)建etcd證書目錄

在Master2創(chuàng)建etcd證書目錄：

mkdir -p /opt/etcd/ssl

3. 拷貝文件（Master1操作）

拷貝Master1上所有K8s文件和etcd證書到Master2：

scp -r /opt/kubernetes root@192.168.31.74:/opt
scp -r /opt/etcd/ssl root@192.168.31.74:/opt/etcd
scp /usr/lib/systemd/system/kube* root@192.168.31.74:/usr/lib/systemd/system
scp /usr/bin/kubectl  root@192.168.31.74:/usr/bin
scp -r ~/.kube root@192.168.31.74:~

4. 刪除證書文件

刪除kubelet證書和kubeconfig文件：

rm -f /opt/kubernetes/cfg/kubelet.kubeconfig 
rm -f /opt/kubernetes/ssl/kubelet*

5. 修改配置文件IP和主機(jī)名

修改apiserver、kubelet和kube-proxy配置文件為本地IP：

vi /opt/kubernetes/cfg/kube-apiserver.conf 
...
--bind-address=192.168.31.74 \
--advertise-address=192.168.31.74 \
...
vi /opt/kubernetes/cfg/kubelet.conf
--hostname-override=k8s-master2
vi /opt/kubernetes/cfg/kube-proxy-config.yml
hostnameOverride: k8s-master2

6. 啟動設(shè)置開機(jī)啟動

systemctl daemon-reload
systemctl start kube-apiserver kube-controller-manager kube-scheduler kubelet kube-proxy
systemctl enable kube-apiserver kube-controller-manager kube-scheduler kubelet kube-proxy

7. 查看集群狀態(tài)

修改連接master為本機(jī)IP

vi ~/.kube/config
...
server: https://192.168.31.74:6443
kubectl get cs
NAME                STATUS    MESSAGE             ERROR
scheduler             Healthy   ok                  
controller-manager       Healthy   ok                  
etcd-1               Healthy   {"health":"true"}   
etcd-2               Healthy   {"health":"true"}   
etcd-0               Healthy   {"health":"true"}

8. 批準(zhǔn)kubelet證書申請

# 查看證書請求
kubectl get csr
NAME                      AGE          SIGNERNAME          REQUESTOR           CONDITION
node-csr-JYNknakEa_YpHz797oKaN-ZTk43nD51Zc9CJkBLcASU   85m   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending
# 授權(quán)請求
kubectl certificate approve node-csr-JYNknakEa_YpHz797oKaN-ZTk43nD51Zc9CJkBLcASU
# 查看Node
kubectl get node
NAME        STATUS   ROLES    AGE   VERSION
k8s-master1    Ready    <none>   34h   v1.20.4
k8s-master2    Ready    <none>   2m   v1.20.4
k8s-node1     Ready    <none>   33h   v1.20.4
k8s-node2     Ready    <none>   33h   v1.20.4

如果你在學(xué)習(xí)中遇到問題或者文檔有誤可聯(lián)系wsj~ 微信: XWALY-5

7.2 部署Nginx+Keepalived高可用負(fù)載均衡器

kube-apiserver高可用架構(gòu)圖：

Nginx是一個主流Web服務(wù)和反向代理服務(wù)器，這里用四層實現(xiàn)對apiserver實現(xiàn)負(fù)載均衡。
Keepalived是一個主流高可用軟件，基于VIP綁定實現(xiàn)服務(wù)器雙機(jī)熱備，在上述拓?fù)渲校琄eepalived主要根據(jù)Nginx運(yùn)行狀態(tài)判斷是否需要故障轉(zhuǎn)移（漂移VIP），例如當(dāng)Nginx主節(jié)點掛掉，VIP會自動綁定在Nginx備節(jié)點，從而保證VIP一直可用，實現(xiàn)Nginx高可用。

注1：為了節(jié)省機(jī)器，這里與K8s Master節(jié)點機(jī)器復(fù)用。也可以獨立于k8s集群之外部署，只要nginx與apiserver能通信就行。

注2：如果你是在公有云上，一般都不支持keepalived，那么你可以直接用它們的負(fù)載均衡器產(chǎn)品，直接負(fù)載均衡多臺Master kube-apiserver，架構(gòu)與上面一樣。

在兩臺Master節(jié)點操作。

1. 安裝軟件包（主/備）

 yum install epel-release -y
 yum install nginx keepalived -y

2. Nginx配置文件（主/備一樣）

cat > /etc/nginx/nginx.conf << "EOF"
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
include /usr/share/nginx/modules/*.conf;
events {
	worker_connections 1024;
}
# 四層負(fù)載均衡，為兩臺Master apiserver組件提供負(fù)載均衡
stream {
	log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
	access_log  /var/log/nginx/k8s-access.log  main;
	upstream k8s-apiserver {
	   server 192.168.31.71:6443;   # Master1 APISERVER IP:PORT
	   server 192.168.31.72:6443;   # Master2 APISERVER IP:PORT
	}
	server {
	   listen 16443; # 由于nginx與master節(jié)點復(fù)用，這個監(jiān)聽端口不能是6443，否則會沖突
	   proxy_pass k8s-apiserver;
	}
}
http {
	log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
					  '$status $body_bytes_sent "$http_referer" '
					  '"$http_user_agent" "$http_x_forwarded_for"';
	access_log  /var/log/nginx/access.log  main;
	sendfile            on;
	tcp_nopush          on;
	tcp_nodelay         on;
	keepalive_timeout   65;
	types_hash_max_size 2048;
	include             /etc/nginx/mime.types;
	default_type        application/octet-stream;
	server {
		listen       80 default_server;
		server_name  _;
		location / {
		}
	}
}
EOF

3. keepalived配置文件（Nginx Master）

cat > /etc/keepalived/keepalived.conf << EOF
global_defs { 
   notification_email { 
	 acassen@firewall.loc 
	 failover@firewall.loc 
	 sysadmin@firewall.loc 
   } 
   notification_email_from Alexandre.Cassen@firewall.loc  
   smtp_server 127.0.0.1 
   smtp_connect_timeout 30 
   router_id NGINX_MASTER
} 
vrrp_script check_nginx {
	script "/etc/keepalived/check_nginx.sh"
}
vrrp_instance VI_1 { 
	state MASTER 
	interface ens33  # 修改為實際網(wǎng)卡名
	virtual_router_id 51 # VRRP 路由 ID實例，每個實例是唯一的 
	priority 100    # 優(yōu)先級，備服務(wù)器設(shè)置 90 
	advert_int 1    # 指定VRRP 心跳包通告間隔時間，默認(rèn)1秒 
	authentication { 
		auth_type PASS      
		auth_pass 1111 
	}  
	# 虛擬IP
	virtual_ipaddress { 
		192.168.31.88/24
	} 
	track_script {
		check_nginx
	} 
}
EOF

vrrp_script：指定檢查nginx工作狀態(tài)腳本（根據(jù)nginx狀態(tài)判斷是否故障轉(zhuǎn)移）
virtual_ipaddress：虛擬IP（VIP）

準(zhǔn)備上述配置文件中檢查nginx運(yùn)行狀態(tài)的腳本：

cat > /etc/keepalived/check_nginx.sh  << "EOF"
#!/bin/bash
count=$(ss -antp |grep 16443 |egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
	exit 1
else
	exit 0
fi
EOF
chmod +x /etc/keepalived/check_nginx.sh

4. keepalived配置文件（Nginx Backup）

cat > /etc/keepalived/keepalived.conf << EOF
global_defs { 
   notification_email { 
	 acassen@firewall.loc 
	 failover@firewall.loc 
	 sysadmin@firewall.loc 
   } 
   notification_email_from Alexandre.Cassen@firewall.loc  
   smtp_server 127.0.0.1 
   smtp_connect_timeout 30 
   router_id NGINX_BACKUP
} 
vrrp_script check_nginx {
	script "/etc/keepalived/check_nginx.sh"
}
vrrp_instance VI_1 { 
	state BACKUP 
	interface ens33
	virtual_router_id 51 # VRRP 路由 ID實例，每個實例是唯一的 
	priority 90
	advert_int 1
	authentication { 
		auth_type PASS      
		auth_pass 1111 
	}  
	virtual_ipaddress { 
		192.168.31.88/24
	} 
	track_script {
		check_nginx
	} 
}
EOF

準(zhǔn)備上述配置文件中檢查nginx運(yùn)行狀態(tài)的腳本：

cat > /etc/keepalived/check_nginx.sh  << "EOF"
#!/bin/bash
count=$(ss -antp |grep 16443 |egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
	exit 1
else
	exit 0
fi
EOF
chmod +x /etc/keepalived/check_nginx.sh

注：keepalived根據(jù)腳本返回狀態(tài)碼（0為工作正常，非0不正常）判斷是否故障轉(zhuǎn)移。

5. 啟動并設(shè)置開機(jī)啟動

systemctl daemon-reload
systemctl start nginx keepalived
systemctl enable nginx keepalived

6. 查看keepalived工作狀態(tài)

ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
	link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
	inet 127.0.0.1/8 scope host lo
	   valid_lft forever preferred_lft forever
	inet6 ::1/128 scope host 
	   valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
	link/ether 00:0c:29:04:f7:2c brd ff:ff:ff:ff:ff:ff
	inet 192.168.31.80/24 brd 192.168.31.255 scope global noprefixroute ens33
	   valid_lft forever preferred_lft forever
	inet 192.168.31.88/24 scope global secondary ens33
	   valid_lft forever preferred_lft forever
	inet6 fe80::20c:29ff:fe04:f72c/64 scope link 
	   valid_lft forever preferred_lft forever

可以看到，在ens33網(wǎng)卡綁定了192.168.31.88 虛擬IP，說明工作正常。

7. Nginx+Keepalived高可用測試

關(guān)閉主節(jié)點Nginx，測試VIP是否漂移到備節(jié)點服務(wù)器。

在Nginx Master執(zhí)行 pkill nginx;
在Nginx Backup，ip addr命令查看已成功綁定VIP。

8. 訪問負(fù)載均衡器測試

找K8s集群中任意一個節(jié)點，使用curl查看K8s版本測試，使用VIP訪問：

curl -k https://192.168.31.88:16443/version
{
  "major": "1",
  "minor": "20",
  "gitVersion": "v1.20.4",
  "gitCommit": "e87da0bd6e03ec3fea7933c4b5263d151aafd07c",
  "gitTreeState": "clean",
  "buildDate": "2021-02-18T16:03:00Z",
  "goVersion": "go1.15.8",
  "compiler": "gc",
  "platform": "linux/amd64"
}

可以正確獲取到K8s版本信息，說明負(fù)載均衡器搭建正常。該請求數(shù)據(jù)流程：curl -> vip(nginx) -> apiserver

通過查看Nginx日志也可以看到轉(zhuǎn)發(fā)apiserver IP：

tail /var/log/nginx/k8s-access.log -f
192.168.31.71 192.168.31.71:6443 - [02/Apr/2021:19:17:57 +0800] 200 423
192.168.31.71 192.168.31.72:6443 - [02/Apr/2021:19:18:50 +0800] 200 423

到此還沒結(jié)束，還有下面最關(guān)鍵的一步。

7.3 修改所有Worker Node連接LB VIP

試想下，雖然我們增加了Master2 Node和負(fù)載均衡器，但是我們是從單Master架構(gòu)擴(kuò)容的，也就是說目前所有的Worker Node組件連接都還是Master1 Node，如果不改為連接VIP走負(fù)載均衡器，那么Master還是單點故障。

因此接下來就是要改所有Worker Node（kubectl get node命令查看到的節(jié)點）組件配置文件，由原來192.168.31.71修改為192.168.31.88（VIP）。

在所有Worker Node執(zhí)行：

sed -i 's#192.168.31.71:6443#192.168.31.88:16443#' /opt/kubernetes/cfg/*
systemctl restart kubelet kube-proxy

檢查節(jié)點狀態(tài)：

kubectl get node 
NAME         STATUS   ROLES    AGE   VERSION 
k8s-master1   Ready    <none>   32d   v1.20.4 
k8s-master2   Ready    <none>   10m   v1.20.4 
k8s-node1    Ready    <none>   31d   v1.20.4 
k8s-node2    Ready    <none>   31d   v1.20.4

至此，一套完整的 Kubernetes 高可用集群就部署完成了！

posted @ 2024-06-24 17:45 二價亞鐵閱讀(504) 評論(2) 收藏舉報

刷新頁面返回頂部

二價亞鐵.

K8s高可用集群二進(jìn)制部署-V1.20

一、前置知識點

1.1 生產(chǎn)環(huán)境部署K8s集群的兩種方式

kubeadm

二進(jìn)制包

1.2準(zhǔn)備環(huán)境

1.3 操作系統(tǒng)初始化配置

二、部署Etcd集群

2.1 準(zhǔn)備cfssl證書生成工具

2.2 生成Etcd證書

1. 自簽證書頒發(fā)機(jī)構(gòu)（CA）

2. 使用自簽CA簽發(fā)Etcd HTTPS證書

2.3 從Github下載二進(jìn)制文件

2.4 部署Etcd集群

1. 創(chuàng)建工作目錄并解壓二進(jìn)制包

2. 創(chuàng)建etcd配置文件

3. systemd管理etcd

4. 拷貝剛才生成的證書

5. 啟動并設(shè)置開機(jī)啟動

6. 將上面節(jié)點1所有生成的文件拷貝到節(jié)點2和節(jié)點3

7. 查看集群狀態(tài)

三、安裝Docker

3.1 解壓二進(jìn)制包

3.2 systemd管理docker

3.3 創(chuàng)建配置文件

3.4 啟動并設(shè)置開機(jī)啟動

四、部署Master Node

4.1 生成kube-apiserver證書

1. 自簽證書頒發(fā)機(jī)構(gòu)（CA）

2. 使用自簽CA簽發(fā)kube-apiserver HTTPS證書

4.2 從Github下載二進(jìn)制文件

4.3 解壓二進(jìn)制包

4.4 部署kube-apiserver

1. 創(chuàng)建配置文件

2. 拷貝剛才生成的證書

3. 啟用 TLS Bootstrapping 機(jī)制

4. systemd管理apiserver

5. 啟動并設(shè)置開機(jī)啟動

4.5 部署kube-controller-manager

1. 創(chuàng)建配置文件

2. 生成kubeconfig文件

3. systemd管理controller-manager

4. 啟動并設(shè)置開機(jī)啟動

4.6 部署kube-scheduler

1. 創(chuàng)建配置文件

2. 生成kubeconfig文件

3. systemd管理scheduler

4. 啟動并設(shè)置開機(jī)啟動

5. 查看集群狀態(tài)

6. 授權(quán)kubelet-bootstrap用戶允許請求證書

五、部署Worker Node

5.1 創(chuàng)建工作目錄并拷貝二進(jìn)制文件

5.2 部署kubelet

1. 創(chuàng)建配置文件

2. 配置參數(shù)文件

3. 生成kubelet初次加入集群引導(dǎo)kubeconfig文件

4. systemd管理kubelet

5. 啟動并設(shè)置開機(jī)啟動

5.3 批準(zhǔn)kubelet證書申請并加入集群

5.4 部署kube-proxy

1. 創(chuàng)建配置文件

2. 配置參數(shù)文件

3. 生成kube-proxy.kubeconfig文件

4. systemd管理kube-proxy

5. 啟動并設(shè)置開機(jī)啟動

5.5 部署網(wǎng)絡(luò)組件

5.6 授權(quán)apiserver訪問kubelet

5.7 新增加Worker Node

1. 拷貝已部署好的Node相關(guān)文件到新節(jié)點

2. 刪除kubelet證書和kubeconfig文件

3. 修改主機(jī)名

4. 啟動并設(shè)置開機(jī)啟動

5. 在Master上批準(zhǔn)新Node kubelet證書申請

6. 查看Node狀態(tài)

六、部署Dashboard和CoreDNS

6.1 部署Dashboard

6.2 部署CoreDNS

七、擴(kuò)容多Master（高可用架構(gòu)）

7.1 部署Master2 Node