Python实现一个简单的爬虫程序（爬取图片）

Kubernetes 简介

应用部署方式演变

在部署应用程序的方式上，主要经历了三个阶段：

1、传统部署

2、虚拟化部署

3、容器化部署

容器编排应用

为了解决这些容器编排问题，就产生了一些容器编排的软件：

1、Swarm：Docker自己的容器编排工具

2、Mesos：Apache的一个资源统一管控的工具，需要和Marathon结合使用

3、Kubernetes：Google开源的的容器编排工具

Kubernetes 简介

1、在Docker 作为高级容器引擎快速发展的同时，在Google内部，容器技术已经应用了很多年

2、Borg系统运行管理着成千上万的容器应用。

3、Kubernetes项目来源于Borg，可以说是集结了Borg设计思想的精华，并且吸收了Borg系统中的经验和教训。

3、Kubernetes对计算资源进行了更高层次的抽象，通过将容器进行细致的组合，将最终的应用服务交给用户。

kubernetes的本质是一组服务器集群，它可以在集群的每个节点上运行特定的程序，来对节点中的容器进行管理。目的是实现资源管理的自动化，主要提供了如下的主要功能：

1、自我修复

2、弹性伸缩

3、服务发现

4、负载均衡

5、版本回退

6、存储编排

K8s 的设计架构

K8s 各个组件的用途

一个kubernetes集群主要是由控制节点(master)、**工作节点(node)**构成，每个节点上都会安装不同的组件

master：集群的控制平面，负责集群的决策

node：集群的数据平面，负责为容器提供运行环境

K8s 各组件之间的调用关系

当我们要运行一个web服务时：

K8S 常用名词的概念

1、Master

2、Node

3、Pod

4、Controller

5、Service

6、Label

7、NameSpace

k8s 的分层架构

1、核心层

2、应用层

3、管理层

4、接口层

5、生态系统

6、Kubernetes外部

7、Kubernetes内部

K8s 集群环境搭建

k8s 中容器的管理方式

K8S 集群创建方式有3种：

1、centainerd

2、docker

3、cri-o

docker 和cri-o 这两种方式要对kubelet程序的启动参数进行设置

k8s 集群部署

k8s 环境部署说明

K8S中文官网：https://kubernetes.io/zh-cn/

集群初始环境：

集群环境初始化

所有设备均配置

禁用swap

[root@K8s-master ~]# systemctl mask dev-nvme0n1p3.swap
[root@K8s-master ~]# swapoff -a

[root@K8s-master ~]# vim /etc/fstab
......
#/dev/mapper/rhel-swap   none                    swap    defaults        0 0

安装docker

1、配置软件源

[root@K8s-master ~]# vim /etc/yum.repos.d/docker.repo
[docker]
name=docker
baseurl=https://mirrors.aliyun.com/docker-ce/linux/rhel/9/x86_64/stable/
gpgcheck=0

#如果使用rhel7或者centos7的Linux系统时，该源解决 centos7/rhel7 的docker依赖关系
#[centos]
#name=extras
#baseurl=https://mirrors.aliyun.com/centos/7.9.2009/extras/x86_64/
#gpgcheck=0

2、安装Docker

[root@K8s-master ~]# yum install docker-ce -y

3、启用Docker

[root@docker1 ~]# systemctl enable --now docker

设定docker的资源管理模式为systemd

Rhel9 Linux 系统设定：

[root@K8s-master ~]# vim /etc/docker/daemon.json
{
	"registry-mirrors": ["https://reg.tym.org"]
}

Rhel7 Linux 系统设定（设定为systemd）：

[root@K8s-master ~]# vim /etc/docker/daemon.json
{
	"registry-mirrors": ["https://reg.tym.org"],
	"exec-opts": ["native.cgroupdriver=systemd"],
	"log-driver": "json-file",
	"log-opts": {
		"max-size": "100m"
	},
	"storage-driver": "overlay2"
}

[root@K8s-master ~]# docker info

登录harbor仓库

1、将生成的证书拷贝至Docker的配置目录下

[root@K8s-master ~]# ls /etc/docker/certs.d/reg.tym.org/
tym.org.crt

2、登录harbor仓库，可正常从仓库拉取镜像

[root@K8s-master ~]# docker login reg.tym.org

3、查看配置信息

[root@K8s-master ~]# docker info

K8s 部署

安装 K8s 部署工具（所有设备）

1、部署软件仓库，添加K8s源

[root@K8s-master ~]# vim /etc/yum.repos.d/k8s.repo
[k8s]
name=k8s
baseurl=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.30/rpm
gpgcheck=0

2、安装工具

[root@k8s-master ~]# yum install kubelet-1.30.0 kubeadm-1.30.0 kubectl-1.30.0 -y

设置 kubectl 命令补齐功能（master）

[root@K8s-master ~]# yum install bash-completion -y
#安装补全命令的插件

[root@K8s-master ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
#将K8s的补全命令加载到环境变量内

[root@K8s-master ~]# source  ~/.bashrc
#重新加载环境变量

安装 cri-docker（所有设备）

k8s从1.24版本开始移除了dockershim，所以需要安装cri-docker插件才能使用docker

软件下载：https://github.com/Mirantis/cri-dockerd

1、下载软件包和软件依赖

2、安装软件

[root@k8s-master ~]# dnf install libcgroup-0.41-19.el8.x86_64.rpm \
> cri-dockerd-0.3.14-3.el8.x86_64.rpm -y

3、修改配置文件

[root@K8s-master ~]# vim /lib/systemd/system/cri-docker.service
......
ExecStart=/usr/bin/cri-dockerd --container-runtime-endpoint fd:// --network-plugin=cni --pod-infra-container-image=reg.tym.org/k8s/pause:3.9
......

#指定网络插件名称及基础容器镜像

4、重新加载配置

[root@K8s-master ~]# systemctl daemon-reload

5、启用服务

[root@K8s-master ~]# systemctl enable --now cri-docker

6、查看是否存在套接字文件

[root@K8s-master ~]# ll /var/run/cri-dockerd.sock

拉取 K8s 所需镜像（master）

1、拉取K8s 所需的镜像

[root@K8s-master ~]# kubeadm config images pull \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.30.0 \
--cri-socket=unix:///var/run/cri-dockerd.sock

2、上传镜像至harbor仓库

[root@K8s-master ~]# docker images | awk '/google/{ print $1":"$2}' \
| awk -F "/" '{system("docker tag "$0" reg.tym.org/k8s/"$3)}'
#将镜像打上标签

[root@K8s-master ~]# docker images  | awk '/k8s/{system("docker push "$1":"$2)}'
#上传镜像

集群初始化（master）

1、执行初始化命令

[root@K8s-master ~]# kubeadm init --pod-network-cidr=10.244.0.0/16 \
--image-repository reg.tym.org/k8s \
--kubernetes-version v1.30.0 \
--cri-socket=unix:///var/run/cri-dockerd.sock

2、指定集群配置文件变量

[root@K8s-master ~]# echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile

[root@K8s-master ~]# source ~/.bash_profile
#重新加载配置文件

3、查看服务状态

[root@K8s-master ~]# systemctl status kubelet.service

安装 flannel 网络插件（master）

官方网站：https://github.com/flannel-io/flannel

1、下载 flannel 的 yaml 部署文件

[root@K8s-master ~]# wget https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

2、修改 yaml 文件

[root@K8s-master k8s]# vim kube-flannel.yml
......
image: flannel/flannel:v0.25.5
......
image: flannel/flannel-cni-plugin:v1.5.1-flannel1
......
image: flannel/flannel:v0.25.5
......

3、下载 flannel 镜像

4、将 flannel 镜像上传至 harbor 仓库

[root@K8s-master ~]# docker tag flannel/flannel:v0.25.5 reg.tym.org/flannel/flannel:v0.25.5
[root@K8s-master ~]# docker tag flannel/flannel-cni-plugin:v1.5.1-flannel1 reg.tym.org/flannel/flannel-cni-plugin:v1.5.1-flannel1


[root@k8s-master ~]# docker push reg.tym.org/flannel/flannel:v0.25.5
[root@K8s-master ~]# docker push reg.tym.org/flannel/flannel-cni-plugin:v1.5.1-flannel1

5、安装flannel网络插件（在yaml文件所在目录执行）

[root@K8s-master k8s]# kubectl apply -f kube-flannel.yml
#安装网络插件

[root@K8s-master k8s]# kubectl delete -f kube-flannel.yml
#删除网络插件

重新生成 token（master）

[root@K8s-master ~]# kubeadm token create --print-join-command

重置集群命令

[root@k8s-master ~]# kubeadm reset --cri-socket=unix:///var/run/cri-dockerd.sock

节点扩容

1、添加工作节点至集群内

[root@K8s-node1 ~]# kubeadm join 172.25.254.10:6443 --token pqrc63.pyuvi86lprjsxz7v --discovery-token-ca-cert-hash sha256:6561cb961571069d848d1b91c0dfb1c1e95ee3ba35ff5785767bdc6a913baa23 \
--cri-socket=unix:///var/run/cri-dockerd.sock

2、在 master 节点中查看所有 node 的状态

[root@k8s-master ~]# kubectl get nodes

[root@K8s-master k8s]# kubectl -n kube-flannel get pods

3、测试

[root@k8s-master ~]# kubectl run test --image nginx:latest
#创建并运行一个pod

[root@k8s-master ~]# kubectl get pod
#获取pod的信息