Kubernetes搭建

说明

1. 这次是使用的是1个master、2个node
2. 为的是模拟搭建环境，真实环境是多master(n>1) 且为奇数
3. 安装k8s的节点必须是大于1核心的CPU
4. 使用的系统centos7,6的话好多命名空间有很多不支持
5. 内核3.1以上才是较好的运行环境，最好是4.4内核以上
6. 网络采用Flannel(官方推荐)方式

ps: 第2点是因为为了防止单节点故障,高可用一般都为3,5,7 ###资料地址 链接: https://pan.baidu.com/s/1ULw76sCpq5EMR00i9h7H7w 密码: sw77

节点信息

• 39.104.147.98 k8s-master01 172.24.125.50
• 39.104.145.153 k8s-node01 172.24.125.51
• 39.99.93.132 k8s-node02 172.24.52.83

ps:前面为公有ip,后面是私有ip建议使用阿里云同账号下的同地区服务器,不同地区私有ip不通，当然不同账号同一地区也可以,可以参考这个文章。服务器的类型为ECS比较方便

开始进行部署

设置主机名(以下是在三台机器上分别设置)

hostnamectl set-hostname k8s-master01
hostnamectl set-hostname k8s-node01
hostnamectl set-hostname k8s-node02

互相设置解析hosts文件(同时设置)

$ vim /etc/hosts
172.24.125.50 k8s-master01
172.24.125.51 k8s-node01
172.24.52.83 k8s-node02

安装依赖(同时安装| 以下不说明就是同时)

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git

设置防火墙为Iptables 并设置空规则

systemctl stop firewalld && systemctl disable firewalld
yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

ps: 关闭firewalld防火墙 以及开机自启;安装iptables-services 启动 清空规则 并开机自启

关闭SELINUX

swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

• 1关闭虚拟内存，k8s安装的时候 初始化的时候会检测swap分区是否关闭，如果开启了虚拟内存，容器pod会放到虚拟内存去运行，大大降低了他工作的效率，所以要关闭，当然可以通过--ingress排除报错，但是生产环境中建议关闭，防止出现容器运行在虚拟内存的情况
• 2 关闭SELINUX

调整内核参数

cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
sysctl -p /etc/sysctl.d/kubernetes.conf

• 关闭ipv6的协议 必选
• 2 & 3 开启网桥模式 必选 其他优化
• 17 行 让k8s的配置文件开机自启
• 18 让17行立即生效

调整系统时区

# 设置系统时区为 中国/上海
timedatectl set-timezone Asia/Shanghai
# 将当前的 UTC 时间写入硬件时钟
timedatectl set-local-rtc 0
# 重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond

ps: # 1装系统的时候设置了就不需要再跑

关闭系统不需要服务

systemctl stop postfix && systemctl disable postfix

ps: postfix 邮件服务不需要 ，尽可能让系统不占有资源与空间

设置 rsyslogd 和 systemd journald

mkdir /var/log/journal # 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大占用空间 10G
SystemMaxUse=10G
# 单日志文件最大 200M
SystemMaxFileSize=200M
# 日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到 syslog
ForwardToSyslog=no
EOF
systemctl restart systemd-journald

ps: 设置日志的保存方式 ，在centos7引导方式改为了systemd所以就有两个日志系统在工作，默认是resylogd，所以要改为journald更好些。

升级系统内核为 4.44

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装
一次！
yum --enablerepo=elrepo-kernel install -y kernel-lt
# 设置开机从新内核启动
grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)

ps: 1.如果设定不了内核应该是安装的版本不同 参考这个文章2.CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs，导致运行的 Docker、Kubernetes 不稳定，例如： rpm -Uvh

kube-proxy开启ipvs的前置条件

modprobe br_netfilter

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

ps: kube-proxy 解决 svc和pod之间的调度关系 ipvs 极大的增加他的访问效率 写入会增加我们的依赖

安装 Docker 软件

yum update
curl -sSL https://get.docker.com/ | sh

# 配置 daemon.
cat > /etc/docker/daemon.json <<EOF
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
    "log-opts": {
"max-size": "100m"
}
}
EOF

systemctl start docker
systemctl enable docker

ps: k8s >> 管理pod >> 管理多容器

安装 Kubeadm （主从配置）

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
systemctl enable kubelet.service

镜像下载地址

链接: https://pan.baidu.com/s/1AyJgoCjCee_po8QkooYlMg  密码: 43ps
# 下载完成之后 通过scp传到我们的每个服务器上
$ tar -zvxf kubeadm-basic.images.tar.gz
$ vim ./load-image.sh
  #!/bin/bash

    ls /root/kubeadm-basic.images > /tmp/image-list.txt
    
    cd /root/kubeadm-basic.images
    
    for i in $( cat /tmp/image-list.txt )
    do
            docker load -i $i
    done
    
    
    
    rm -rf /tmp/image-list.txt
    # 键入:wq退出

ps: 导入我们需要的镜像到我们的所有节点

初始化主节点(在k8s-master01执行)

$ kubeadm config print init-defaults > kubeadm-config.yaml
$ vim kubeadm-config.yaml

advertiseAddress: 172.24.125.50 # 原来地址默认1.2.3.4
kubernetesVersion: v1.15.1 # 修改版本因为我用的是1.15.1
podSubnet: "10.244.0.0/16" # 在notworking下添加
# 在此文件内容最下面添加
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
  SupportIPVSProxyMode: true
mode: ipvs
# 键如指令:wq即可退出

$ kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
   Your Kubernetes control-plane has initialized successfully!

    To start using your cluster, you need to run the following as a regular user:
    
      mkdir -p $HOME/.kube
      sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
      sudo chown $(id -u):$(id -g) $HOME/.kube/config
    
    You should now deploy a pod network to the cluster.
    Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
      https://kubernetes.io/docs/concepts/cluster-administration/addons/
    
    Then you can join any number of worker nodes by running the following on each as root:
    
    kubeadm join 172.24.125.50:6443 --token abcdef.0123456789abcdef \
        --discovery-token-ca-cert-hash sha256:eb08f2ce68020a38a79fe9b4b18384464fac113be32029040eabd575bc520237

ps: 执行完init命令后会得到以上内容及成功 master需要开通6443的端口

# 在master节点依次执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

node节点(在node节点上执行)

# 执行的命令是master 初始化成功的内容记住要复制master执行命令成功的内容
$ kubeadm join 172.24.125.50:6443 --token abcdef.0123456789abcdef \
        --discovery-token-ca-cert-hash sha256:eb08f2ce68020a38a79fe9b4b18384464fac113be32029040eabd575bc520237

ps: 子节点配置好之后假设出现以下报错

Kubernetes-kubectl The connection to the server localhost:8080 was refused -did you specify

解决方法: 将主节点的 /etc/kubernetes/admin.conf scp 到工作的node节点上
# 子节点输入
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source ~/.bash_profile
即可

部署网络

kubectl apply -f 
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl create -f kube-flannel.yml
kubectl get pod -n kube-system  #  可以查看到flannel插件安装完成
主机应用完k8s之后会提示如何加入主机 将命令复制到其他子节点,可能稍微初始化比较慢 
kubectl get pod -n kube-system -w # -w 是监视的状态