0
点赞
收藏
分享

微信扫一扫

Kubernetes 二进制搭建 K8S v1.20

微言记 2022-03-25 阅读 58
K8S单master配置etcd集群部署flannel 部署云计算

壹、单Master节点的配置

一、配置环境

单master部署环境

节点 IP地址 需要服务
Master01 192.168.100.150 kube-apiserver kube-controller-manager kube-scheduler etcd master
node01 192.168.100.158 node etcd
node02 192.168.100.159 node etcd

1、操作系统初始化配置

1）关闭防火墙

#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

#关闭selinux
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

#关闭swap
swapoff -a
sed -ri 's/.* swap.*/#&/' /etc/fstab

1基础设置关闭防火墙.jpg

2）根据规划设置主机名

hostnamectl set-hostname master01
hostnamectl set-hostname node01
hostnamectl set-hostname node02

2规划主机名设置.jpg

3）在master添加hosts

cat >> /etc/hosts <<EOF
192.168.100.150 master01
192.168.100.156 node01
192.168.100.157 node02
EOF

3重定向输入hosts.jpg

4）调整内核参数

cat > /etc/sysctl.d/k8s.conf <<EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
#关闭ipv6协议
net .ipv6.conf.all.disable_ipv6=1
net. ipv4.ip_forward=1
EOF
sysctl --system

4调整内核参数.jpg

5）时间同步

yum install ntpdate -y
ntpdate time.windows.com

5同步时间.jpg

二、部署etcd集群

etcd是coreos团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。etci内部采用raft协议作为一致性算法，etcd是go语言编写的。

etcd作为服务发现系统，有以下的特点:

  • 简单:安装配置简单，而且提供了HTTP API进行交互，使用也很简单
  • 安全:支持SSL证书验证
  • 快速:单实例支持每秒2k+读操作
  • 可靠:采用 raft 算法，实现分布式系统数据的可用性和一致性

etcd 目前默认使用2379端口提供 HTTP API 服务，2380端口和 peer 通信(这两个端口已经被IANA (互联网数字分配机构)官方预留给etcd)。即etcd默认使用2379端口对外为客户端提供通讯，使用端口2380来进行服务器间内部通讯。
etcd在生产环境中一般推荐集群方式部署。由于 etcd 的 leader 选举机制，要求至少为3台或以上的奇数台。

  • CFSSL是 cloudFlare 公司开源的一款 PKI/TIS 工具。CESSL包含一个命令行工具和一个用于签名、验证和捆绑TLS 证书的 HTTP API 服务。使用Go语言编写。
  • CESSL使用配置文件生成证书，因此自签之前，需要生成它识别的 json 格式的配置文件，CFSSL提供了方便的命令行生成配置文件。CFSSL 用来为 etcd 提供 TLS 证书，它支持签三种类型的证书:
    • 1、client 证书，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如 kube-apiserver 访问etcd;
    • 2、server 证书，客户端连接服务端时携带的证书，用于服务端验证客户端身份，如 etcd对外提供服务;
    • 3、peer 证书，相互之间连接时使用的证书，如 etcd节点之间进行验证和通信。

这里全部都使用同一套证书认证。

1、在 master01 节点上操作

1)准备cfssl证书生成工具

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo

chmod +x /usr/local/bin/cfssl*

1上传cfssl证书生成工具.jpg

2上传脚本.jpg

3编写etdc的集群IP.jpg

2)生成Etcd证书

mkdir /opt/k8s
cd /opt/k8s/

#上传 etcd-cert.sh 和 etcd.sh 到 /opt/k8s/ 目录中
chmod +x etcd-cert.sh etcd.sh

#创建用于生成CA证书、etcd 服务器证书以及私钥的目录
mkdir /opt/k8s/etcd-cert
mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
./etcd-cert.sh

4生成CA证书.jpg

3)上传 etcd-v3.4.9-linux-amd64.tar.gz 到 /opt/k8s 目录中，启动etcd服务

cd /opt/k8s/
tar zxvf etcd-v3.4.9-linux-amd64.tar.gz

mkdir -p /opt/etcd/{cfg,bin,ssl}

cd /opt/k8s/etcd-v3.4.9-linux-amd64/
mv etcd etcdctl /opt/etcd/bin/
cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/

cd /opt/k8s/
./etcd.sh etcd01 192.168.100.150 etcd02=https://192.168.100.158:2380,etcd03=https://192.168.100.159:2380

ps -ef | grep etcd

scp -r /opt/etcd/ root@192.168.100.158:/opt/
scp -r /opt/etcd/ root@192.168.100.159:/opt/
scp /usr/lib/systemd/system/etcd.service root@192.168.100.158:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@192.168.100.159:/usr/lib/systemd/system/

5解压etcd.jpg

6复制命令文件.jpg

7复制证书.jpg

8查看进程.jpg

9scp.jpg

2、在 node01 节点上操作

vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd02"                      #修改
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.100.158:2380"        #修改
ETCD_LISTEN_CLIENT_URLS="https://192.168.100.158:2379"      #修改

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.100.158:2380"  #修改
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.100.158:2379"    #修改
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.100.150:2380,etcd02=https://192.168.100.158:2380,etcd03=https://192.168.100.159:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

systemctl start etcd
systemctl enable etcd
systemctl status etcd

10node12进行修改.jpg

3、在 node02 节点上操作

vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd03"                  #修改
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.80.12:2380"  #修改
ETCD_LISTEN_CLIENT_URLS="https://192.168.80.12:2379"    #修改

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.80.12:2380"   #修改
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.80.12:2379"     #修改
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.80.10:2380,etcd02=https://192.168.80.11:2380,etcd03=https://192.168.80.12:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

systemctl start etcd
systemctl enable etcd
systemctl status etcd

11将etcd服务文件传送到node12上.jpg

11将etcd服务文件传送到node12上（2）.jpg

12node12上启动服务.jpg

12监听地址改为本机（1）.jpg

12监听地址改为本机（2）.jpg

检查etcd群集状态

ETCDCTI_APT=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem \
--cert=/opt/etcd/ssl/server.pem \
--key=/opt/etcd/ssl/server-key.pem \
--endpoints="https://192.168.100.150:2379,https://192.168.100.158:2379,https://192.168.100.159:2379" endpoint health \
--write-out=table

BTCDCTI_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem \
--cert=/opt/etcd/ssl/server.pem \
--key=/opt/etcd/ssl/server-key.pem \
--endpoints="https://192.168.100.150:2379,https://192.168.100.158:2379,https://192.168.100.159:2379" \
--write-out=table member list

13以表格的形式查看.jpg

三、在node节点上部署docker引擎

yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io

systemctl start docker.service
systemctl enable docker.service

1yum环境.jpg

2安装docker.jpg

3启动服务设置为开机自启动.jpg

四、 Master 组件部署

//在 master01 节点上操作
#上传 master.zip 和 k8s-cert.sh 到 /opt/k8s 目录中，解压 master.zip 压缩包
cd /opt/k8s/
unzip master.zip
chmod +x *.sh

mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

#创建用于生成CA证书、相关组件的证书和私钥的目录
mkdir /opt/k8s/k8s-cert
mv /opt/k8s/k8s-cert.sh /opt/k8s/k8s-cert
cd /opt/k8s/k8s-cert/
./k8s-cert.sh

ls *pem
admin-key.pem  apiserver-key.pem  ca-key.pem  kube-proxy-key.pem  
admin.pem      apiserver.pem      ca.pem      kube-proxy.pem

cp ca*pem apiserver*pem /opt/kubernetes/ssl/

#上传 kubernetes-server-linux-amd64.tar.gz 到 /opt/k8s/ 目录中，解压 kubernetes 压缩包
cd /opt/k8s/
tar zxvf kubernetes-server-linux-amd64.tar.gz

cd /opt/k8s/kubernetes/server/bin
cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/
ln -s /opt/kubernetes/bin/* /usr/local/bin/

#创建 bootstrap token 认证文件，apiserver 启动时会调用，然后就相当于在集群内创建了一个这个用户，接下来就可以用 RBAC 给他授权
cd /opt/k8s/
vim token.sh
#!/bin/bash
#获取随机数前16个字节内容，以十六进制格式输出，并删除其中空格
BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ')
#生成 token.csv 文件，按照 Token序列号,用户名,UID,用户组 的格式生成
cat > /opt/kubernetes/cfg/token.csv <<EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"
EOF

chmod +x token.sh
./token.sh

cat /opt/kubernetes/cfg/token.csv

cd /opt/k8s/
./apiserver.sh 192.168.100.150 https://192.168.100.150:2379,https://192.168.100.158:2379,https://192.168.100.159:2379

ps aux | grep kube-apiserver

netstat -natp | grep 6443   #安全端口6443用于接收HTTPS请求，用于基于Token文件或客户端证书等认证

cd /opt/k8s/

#启动 scheduler 服务
./scheduler.sh
ps aux | grep kube-scheduler

#启动 controller-manager 服务
./controller-manager.sh
ps aux | grep kube-controller-manager

#生成kubectl连接集群的证书
./admin.sh

kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous

#通过kubectl工具查看当前集群组件状态
kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
controller-manager   Healthy   ok                  
scheduler            Healthy   ok                  
etcd-2               Healthy   {"health":"true"}   
etcd-1               Healthy   {"health":"true"}   
etcd-0               Healthy   {"health":"true"}  

#查看版本信息
kubectl version

1创建目录解压.jpg

2master上传送文件到node上.jpg

3master上上传kubeconfig脚本.jpg

4master上生成kubeconfig配置文件.jpg

5RBAC授权.jpg

五、node组件部署

//在所有 node 节点上操作
#创建kubernetes工作目录
mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

#上传 node.zip 到 /opt 目录中，解压 node.zip 压缩包，获得kubelet.sh、proxy.sh
cd /opt/
unzip node.zip
chmod +x kubelet.sh proxy.sh

//在 master01 节点上操作
#把 kubelet、kube-proxy 拷贝到 node 节点
cd /opt/k8s/kubernetes/server/bin
scp kubelet kube-proxy root@192.168.80.11:/opt/kubernetes/bin/
scp kubelet kube-proxy root@192.168.80.12:/opt/kubernetes/bin/

#上传 kubeconfig.sh 文件到 /opt/k8s/kubeconfig 目录中，生成 kubeconfig 的配置文件
mkdir /opt/k8s/kubeconfig

cd /opt/k8s/kubeconfig
chmod +x kubeconfig.sh
./kubeconfig.sh 192.168.80.10 /opt/k8s/k8s-cert/

scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.80.11:/opt/kubernetes/cfg/
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.80.12:/opt/kubernetes/cfg/

#RBAC授权，使用户 kubelet-bootstrap 能够有权限发起 CSR 请求
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

//在 node01 节点上操作
#启动 kubelet 服务
cd /opt/
./kubelet.sh 192.168.80.11
ps aux | grep kubelet

//在 master01 节点上操作，通过 CSR 请求
#检查到 node01 节点的 kubelet 发起的 CSR 请求，Pending 表示等待集群给该节点签发证书
kubectl get csr
NAME                                                   AGE  SIGNERNAME                                    REQUESTOR           CONDITION
node-csr-duiobEzQ0R93HsULoS9NT9JaQylMmid_nBF3Ei3NtFE   12s  kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending

#通过 CSR 请求
kubectl certificate approve node-csr-duiobEzQ0R93HsULoS9NT9JaQylMmid_nBF3Ei3NtFE

#Approved,Issued 表示已授权 CSR 请求并签发证书
kubectl get csr
NAME                                                   AGE  SIGNERNAME                                    REQUESTOR           CONDITION
node-csr-duiobEzQ0R93HsULoS9NT9JaQylMmid_nBF3Ei3NtFE   2m5s kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Approved,Issued

#查看节点，由于网络插件还没有部署，节点会没有准备就绪 NotReady
kubectl get node
NAME            STATUS     ROLES    AGE    VERSION
192.168.80.11   NotReady   <none>   108s   v1.20.11

//在 node01 节点上操作
#加载 ip_vs 模块
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

#启动proxy服务
cd /opt/
./proxy.sh 192.168.80.11
ps aux | grep kube-proxy

6node上启动kubelet.jpg

7master上查看CSR请求并通过.jpg

7master上查看CSR请求并通过（2）.jpg

8node节点产生了证书.jpg

9node上加载模块开启proxy.jpg

10两台证书下发成功.jpg

11两台完成.jpg

六、flannel 部署

//在 node01 节点上操作（node2同理）
#上传 cni-plugins-linux-amd64-v0.8.6.tgz 和 flannel.tar 到 /opt 目录中
cd /opt/
docker load -i flannel.tar

mkdir /opt/cni/bin
tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin

//在 master01 节点上操作
#上传 kube-flannel.yml 文件到 /opt/k8s 目录中，部署 CNI 网络
cd /opt/k8s
kubectl apply -f kube-flannel.yml 

kubectl get pods -n kube-system
NAME                    READY   STATUS    RESTARTS   AGE
kube-flannel-ds-hjtc7   1/1     Running   0          7s

kubectl get nodes
NAME            STATUS   ROLES    AGE   VERSION
192.168.80.11   Ready    <none>   81m   v1.20.11

1上传数据包.jpg

2docker加载本地镜像包.jpg

3解压包到指定目录.jpg

4上传yml文件.jpg

举报

相关推荐

实验：使用二进制编译部署K8S（v1.20）

k8s二进制部署云计算

二进制安装部署k8s高可用集群V1.20

dockerkuberneteslinux

k8s v1.20二进制部署 部署 CNI 网络组件 部署 Calico

网络kubernetes容器

【云原生Kubernetes系列第三篇】二进制部署单节点Kubernetes（k8s）v1.20

jsonlinux客户端云计算

k8s二进制部署(版本1.20)

dockerkubernetes二进制部署k8s1.20

二进制搭建k8s

linuxsed初始化云计算

Kubernetes（k8s）单Matser集群架构的搭建（v1.20）

linuxdockerkubernetesk8s运维云计算

K8S 二进制安装

前端css

二进制安装K8S

arcgisjavascript开发语言

k8s二进制部署

dockeretcd容器
0 条评论