Kubernetes 【负载均衡器】 MetalLB 实践-CFANZ编程社区

文章目录

1. 什么是MetalLB
2. 为什么需要它
3. 要求
4. 准备
5. 安装

5.1 通过清单安装
5.2 Kustomize 安装
5.3 Helm 安装

6. 示例

https://metallb.universe.tf/installation/

1. 什么是MetalLB

根据官方文档 MetalLB 是裸机Kubernetes 集群的负载均衡器实现，使用标准路由协议。

2. 为什么需要它

如果您在云解决方案（AWS、GCP）之外部署 Kubernetes 集群，您需要一种在集群之外公开服务的方法。您可以使用 NodePort 使用端口范围 30000–32767 公开您的服务，但是每次您的客户需要访问您的服务时，他们都需要指定这个高阶端口。如果您尝试在裸机中使用 LoadBalancer 服务，您将看到您的服务将永远挂起。在这些情况下，您可以使用 MetlabLB。

3. 要求

MetalLB 需要以下功能才能运行：

一个Kubernetes 集群，运行 Kubernetes 1.13.0 或更高版本，还没有网络负载平衡功能。
一个集群网络配置可以与MetalLB共存。
一些供 MetalLB 分发的 IPv4 地址。
使用BGP 操作模式时，您需要一台或多台能够通话的路由器 BGP.
节点之间必须允许端口 7946（TCP 和 UDP）上的流量，如会员名单.

4. 准备

如果您在 IPVS 模式下使用 kube-proxy，从 Kubernetes v1.14.2 开始，您必须启用严格的 ARP 模式。

请注意，如果您使用 kube-router 作为服务代理，则不需要这个，因为它默认启用严格的 ARP。

您可以通过在当前集群中编辑 kube-proxy 配置来实现这一点：

$ kubectl edit configmap -n kube-system kube-proxy
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: "ipvs"
ipvs:
  strictARP: true

您还可以将此配置片段添加到您的 kubeadm-config 中，只需将其附加—到主配置之后。

如果您尝试自动执行此更改，这些 shell 片段可能会帮助您：

# 查看将进行哪些更改，如果不同则返回非零返回码
kubectl get configmap kube-proxy -n kube-system -o yaml | \
sed -e "s/strictARP: false/strictARP: true/" | \
kubectl diff -f - -n kube-system

# 实际应用更改，仅在错误时返回非零返回码
kubectl get configmap kube-proxy -n kube-system -o yaml | \
sed -e "s/strictARP: false/strictARP: true/" | \
kubectl apply -f - -n kube-system

5. 安装

5.1 通过清单安装

kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.11.0/manifests/namespace.yaml
kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.11.0/manifests/metallb.yaml

这会将 MetalLB 部署到metallb-system 命名空间下的集群。清单中的组件是：

该metallb-system/controller deployment。这是处理 IP 地址分配的集群范围的控制器。
该metallb-system/speaker daemonset。这是使用您选择的协议以使服务可访问的组件。
控制器和扬声器的Service accounts，以及组件运行所需的 RBAC 权限。

安装清单不包含配置文件。MetalLB 的组件仍将启动，但将保持空闲状态，直到您定义和部署配置图.

5.2 Kustomize 安装

您可以使用 Kustomize 安装 MetalLB 通过指向远程 kustomization 文件：

# kustomization.yml
namespace: metallb-system

resources:
  - github.com/metallb/metallb//manifests?ref=v0.11.0
  - configmap.yml

如果你想使用一个 configMapGenerator 对于配置文件，您想告诉 Kustomize 不要将哈希附加到配置映射，因为 MetalLB 正在等待名为的配置映射config （请参阅 https://github.com/kubernetes-sigs/kustomize/blob/master/examples/generatorOptions.md):

# kustomization.yml
namespace: metallb-system

resources:
  - github.com/metallb/metallb//manifests?ref=v0.11.0

configMapGenerator:
- name: config
  files:
    - configs/config

generatorOptions:
 disableNameSuffixHash: true

5.3 Helm 安装

使用 Helm 图表存储库： https://metallb.github.io/metallb

helm repo add metallb https://metallb.github.io/metallb
helm install metallb metallb/metallb

可以在安装时指定值文件。建议在 Helm 值中提供配置：

helm install metallb metallb/metallb -f values.yaml

MetalLB CONFIGS在设置values.yaml下configInLine：

configInline:
  address-pools:
   - name: default
     protocol: layer2
     addresses:
     - 198.51.100.0/24

6. 示例

kind创建kubernets

$ kind create cluster
Creating cluster "kind" ...
 ✓ Ensuring node image (kindest/node:v1.21.1) ????
 ✓ Preparing nodes ????  
 ✓ Writing configuration ???? 
 ✓ Starting control-plane ????️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️ 
 ✓ Installing CNI ???? 
 ✓ Installing StorageClass ???? 
Set kubectl context to "kind-kind"
You can now use your cluster with:

kubectl cluster-info --context kind-kind

Not sure what to do next? ????  Check out https://kind.sigs.k8s.io/docs/user/quick-start/

$ kind get  clusters 
kind

docker pull nginx:1.14.2
kind load docker-image nginx:1.14.2 --name kind
kubectl create deployment nginx:1.14.2 --image=nginx
kubectl expose deploy nginx --port 80 --type LoadBalancer

如果检查部署情况，则external-ip状态为pending

$ kubectl get svc nginx          
NAME    TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
nginx   LoadBalancer   10.96.255.195        80:30681/TCP   46s

安装metal LB

$ kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.11.0/manifests/namespace.yaml
namespace/metallb-system created


$ kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.11.0/manifests/metallb.yaml
Warning: policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+
podsecuritypolicy.policy/controller created
podsecuritypolicy.policy/speaker created
serviceaccount/controller created
serviceaccount/speaker created
clusterrole.rbac.authorization.k8s.io/metallb-system:controller created
clusterrole.rbac.authorization.k8s.io/metallb-system:speaker created
role.rbac.authorization.k8s.io/config-watcher created
role.rbac.authorization.k8s.io/pod-lister created
role.rbac.authorization.k8s.io/controller created
clusterrolebinding.rbac.authorization.k8s.io/metallb-system:controller created
clusterrolebinding.rbac.authorization.k8s.io/metallb-system:speaker created
rolebinding.rbac.authorization.k8s.io/config-watcher created
rolebinding.rbac.authorization.k8s.io/pod-lister created
rolebinding.rbac.authorization.k8s.io/controller created
daemonset.apps/speaker created
deployment.apps/controller createdl


$ kubectl get all -n metallb-system
NAME                             READY   STATUS    RESTARTS   AGE
pod/controller-77c44876d-b8gsw   1/1     Running   0          42s
pod/speaker-wqxlq                1/1     Running   0          42s

NAME                     DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
daemonset.apps/speaker   1         1         1       1            1           kubernetes.io/os=linux   42s

NAME                         READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/controller   1/1     1            1           42s

NAME                                   DESIRED   CURRENT   READY   AGE
replicaset.apps/controller-77c44876d   1         1         1       42sm

如果您查看pod，您将在应用清单之后创建两种类型的pod，即controller和speaker。该控制器是集群范围的MetalLB控制器，负责IP分配。 speaker是一个deamonset，它将安装在集群中的每个节点上，并使用各种广告策略使用指定的ip发布服务。

作为最后一步，您需要定义configmap。根据环境的不同，可以选择Layer 2模式或BGP模式，也可以选择external IP范围。在这个演示中，我将使用协议作为layer2，地址为172.18.0.200-172.18.0.250，因为我的Kubernetes节点在子网范围内运行(检查kubectl get nodes -o wide命令的输出)。

$ kubectl get nodes -o wide

NAME                 STATUS   ROLES                  AGE   VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE       KERNEL-VERSION     CONTAINER-RUNTIME

kind-control-plane   Ready    control-plane,master   24h   v1.21.1   172.18.0.2         

$ cat cm.yaml                                  
apiVersion: v1
kind: ConfigMap
metadata:
  namespace: metallb-system
  name: config
data:
  config: |
    address-pools:
    - name: my-ip-space
      protocol: layer2
      addresses:
      - 172.18.0.200-172.18.0.250

$ kubectl create -f cm.yaml

如果您检查服务，您将看到metallb从您在configmap下定义的池中为它分配了external ip

$ kubectl get svc nginx

NAME  TYPE      CLUSTER-IP   EXTERNAL-IP  PORT(S)    AGE

nginx  LoadBalancer  10.96.131.55  172.18.0.200  80:30355/TCP  10m