[kubernetes] 持久化存储之静态PV/PVC

倚然君

 关注

阅读 114

2022-04-01

    PV/PVC（PersistentVolume/PersistentVolumeClaim）是生产中最常用的存储方式，其实底层使用的还是各类存储如文件系统/块等。PV通过不同的存储API去对接不同类型的存储，而PVC并不关心这些内容，我个人理解有点类似于存储池和lun的关系，只不过pv和pvc是一一对应的。

[kubernetes] 持久化存储之静态PV/PVC_nginx

    所谓的静态PV/PVC，指的是在使用之前需要手动创建PV/PVC，而动态的方式则是由StorageClass实现，我们只需要创建PVC，PV就会被自动创建。

    PV是独立于pod的生命周期的，目前PV可以支持以下存储：

  •  GCEPersistentDisk

  •  AWSElasticBlockStore

  •  AzureFile

  •  AzureDisk

  •  FC (Fibre Channel)

  •  Flexvolume

  •  Flocker

  •  NFS

  •  iSCSI

  •  RBD (Ceph Block Device)

  •  CephFS

  •  Cinder (OpenStack block storage)

  •  Glusterfs

  •  VsphereVolume

  •  Quobyte Volumes

  •  HostPath (Single node testing only – local storage is not supported in any way and WILL NOT WORK in a multi-node cluster)

  •  Portworx Volumes

  •  ScaleIO Volumes

  •  StorageOS

​​01 创建PV​​

    本节实验使用nfs来作为底层存储，nfs的配置略过。

    1）创建PV

cat pv-demo.yaml 
apiVersion: v1
kind: PersistentVolume  # PV
metadata:
  name: pv1
  labels: 
    name: pv1
spec: 
  nfs:   # 存储类型
    path: /data/nfs-volume/pv1  # nfs路径
    server: host200   # nfs主机
  accessModes: ["ReadWriteMany","ReadWriteOnce"]  # 访问模式
  capacity:   # 存储大小
    storage: 1Gi

    2）应用和查看PV -- PV是不区分namespace的

[root@host21 pv]# kubectl apply -f pv-demo.yaml 
persistentvolume/pv1 created
[root@host21 pv]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
pv1    1Gi        RWO,RWX        Retain           Available                                   3s

    3）字段详解

        ACCESS MODES：访问模式，这个比较重要，PVC的权限不能设置比PV还大。 

  • (RWO) ReadWriteOnce 可被一个节点读写挂载

  • (ROX) ReadOnlyMany 可被多个节点只读挂载

  • (RWX) ReadWriteMany 可被多个节点读写挂载

     RECLAIM PLICY：回收策略，pv可以设置三种回收策略：保留（Retain），回收（Recycle）和删除（Delete）。默认是Retain

              ​- 保留策略：允许人工处理保留的数据。​

​                 - 删除策略：将删除pv和外部关联的存储资源，需要插件支持。​

​                 - 回收策略：将执行清除操作，之后可以被新的pvc使用，需要插件支持。​

        STATUS：PV状态

  •  Available – 资源尚未被claim使用

  •  Bound – 卷已经被绑定到claim了

  •  Released – claim被删除，卷处于释放状态，但未被集群回收。

  •  Failed – 卷自动回收失败

        CLAIM：绑定的PVC

        STORAGECLASS：所属的SC

    4）删除PV

[root@host21 pv]# kubectl delete -f pv-demo.yaml 
persistentvolume "pv1" deleted


​​02 创建PVC
​    创建PVC来消费PV，这里可以指定PV，也可以不指定PV，如果不指定的话会动态选择一个满足条件的PV。​

​    1）资源配置清单​

cat pvc-demo.yaml 
apiVersion: v1
kind: PersistentVolumeClaim  # PVC
metadata:
  name: pvc1
spec:
  accessModes: ["ReadWriteMany"]  # 访问模式
  resources:
    requests:
      storage: 1Gi  # 大小
  selector:   # 指定pv
    matchLabels:
      name: pv1

    2）应用和查看

[root@host21 pv]# kubectl apply -f pvc-demo.yaml 
[root@host21 pv]# kubectl get pvc
NAME   STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc1   Bound    pv1      1Gi        RWO,RWX                       3m5s
[root@host21 pv]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM          STORAGECLASS   REASON   AGE
pv1    1Gi        RWO,RWX        Retain           Bound    default/pvc1                           7m36s

​    3）字段详解​

​        STATUS：PVC状态​

​                - ​Pending​ ：未绑定到PV​

​                - Bound：已绑定到PV​

​        VOLUME：绑定的PV名称​

​        其余参数和PV一致，这里不进行说明。​

​    4）删除pvc  -- 可以看到这时候pv就变为了Released状态​

[root@host21 pv]# kubectl delete -f pvc-demo.yaml 
persistentvolumeclaim "pvc1" deleted
[root@host21 pv]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM          STORAGECLASS   REASON   AGE
pv1    1Gi        RWO,RWX        Retain           Released   default/pvc1                           8m9s
[root@host21 pv]# kubectl get pvc
No resources found.


    5）PV和PVC操作状态变化图如下：

[kubernetes] 持久化存储之静态PV/PVC_sed_02

​​03 PV/PVC简单应用​​

    实验图：

[kubernetes] 持久化存储之静态PV/PVC_nginx_03

    1）创建资源配置清单

[root@host21 pv]# cat nginx-demo.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: nginx-web
spec:
  volumes:   # volume name
    - name: nginx-html
      persistentVolumeClaim:
        claimName: nginx-html-pvc  # pvc name
  containers:
  - name: nginx-pvc
    image: harbor.od.com/public/nginx:v1.7.9
    volumeMounts:
    - name: nginx-html   # volume name name
      mountPath: /usr/share/nginx/html  # target dir name
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nginx-html-pvc
spec:
  accessModes: ["ReadWriteMany"]
  resources:
    requests:
      storage: 1Gi
  selector:
    matchLabels:
      name: nginx-html-pv  # pv name
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nginx-html-pv
  labels: 
    name: nginx-html-pv
spec: 
  nfs: 
    path: /data/nfs-volume/pv3
    server: host200
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity: 
    storage: 1Gi
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc
  labels:
    app: nginx
spec:
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
  selector:
    name: nginx-web

    2）应用和测试

[root@host21 pv]# kubectl apply -f nginx-demo.yaml 
pod/nginx-web created
persistentvolumeclaim/nginx-html-pvc created
persistentvolume/nginx-html-pv created
service/nginx-svc created
[root@host21 pv]# kubectl get all | grep nginx
pod/nginx-web   1/1     Running   0          2m4s
service/nginx-svc      ClusterIP   10.254.58.245   <none>        80/TCP    2m4s
# 测试
[root@host21 pv]# curl 10.254.58.245
pv3

    3）删除资源

[root@host21 pv]# kubectl delete -f nginx-demo.yaml 
pod "nginx-web" deleted
persistentvolumeclaim "nginx-html-pvc" deleted
persistentvolume "nginx-html-pv" deleted
service "nginx-svc" deleted

​​04 实践出真知​​

    1）PVC的容量是否可以比PV大？  -- 不可以

# pv 为1Gi
[root@host21 pv]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
pv1    1Gi        RWO,RWX        Retain           Available                                   13m
# 创建pvc为1.2Gi
[root@host21 pv]# cat pvc-demo.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc1
spec:
  accessModes: ["ReadWriteMany"]
  resources:
    requests:
      storage: 1.2Gi
# 应用
[root@host21 pv]# kubectl apply -f pvc-demo.yaml 
persistentvolumeclaim/pvc1 created
[root@host21 pv]# kubectl get pvc
NAME   STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc1   Pending                                                     12s
# 可以看到pvc一直处于Pending状态
# kubect describe pvc pvc1

[kubernetes] 持久化存储之静态PV/PVC_sed_04

    可见没有符合条件的PV。


    2）PVC设置的权限可以比PV设置的大吗？  -- 不可以

# PV访问模式诶ROX
[root@host21 pv]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM          STORAGECLASS   REASON   AGE
pv1    1Gi        ROX            Retain           Available                                          97s
# PVC访问模式为RWX
[root@host21 pv]# cat pvc-demo.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc1
spec:
  accessModes: ["ReadWriteMany"]
  resources:
    requests:
      storage: 1Gi
  selector:
    matchLabels:
      name: pv1
# pvc一直处于pending状态，没有符合的pv

[kubernetes] 持久化存储之静态PV/PVC_nginx_05

    3）PV可以先于PVC删除吗？- 不可以，删除任务会一直卡在Terminating状态。

[kubernetes] 持久化存储之静态PV/PVC_nginx_06

    删除了pvc后，卡在terminating会继续执行删除任务。

[kubernetes] 持久化存储之静态PV/PVC_html_07

    4）被pod使用了的pvc可以先于pod删除吗？ -- 不可以，原因和3一样，删除是有顺序的，删除资源时需要从上往下删。

    5）删除了pvc后，pv处于Released，这时候该pv就不能被pvc关联了，也就意味着这个pv的数据无法再使用，怎么解决这个问题？-- 通过修改pv的yaml文件，将pv记录的pvc内容删除掉即可再次给新pv使用。

# 使用nginx-demo.yaml进行测试
[root@host21 pv]# kubectl get pv,pvc,pod,svc
NAME                             CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                    STORAGECLASS   REASON   AGE
persistentvolume/nginx-html-pv   1Gi        RWO,RWX        Retain           Bound    default/nginx-html-pvc                           16s
NAME                                   STATUS   VOLUME          CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/nginx-html-pvc   Bound    nginx-html-pv   1Gi        RWO,RWX                       16s
NAME            READY   STATUS              RESTARTS   AGE
pod/nginx-web   0/1     ContainerCreating   0          16s
NAME                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE

service/nginx-svc    ClusterIP   10.254.233.79   <none>        80/TCP    16s
# 测试文件
[root@host21 pv]# curl 10.254.233.79
pv3
# 删除pod
[root@host21 pv]# kubectl delete pod/nginx-web
[root@host21 pv]# kubectl get pod
No resources found.

# 删除pvc，这时候pv处于Released状态
[root@host21 pv]# kubectl delete pvc nginx-html-pvc
persistentvolumeclaim "nginx-html-pvc" deleted
[root@host21 pv]# kubectl get pvc
No resources found.
[root@host21 pv]# kubectl get pv
NAME            CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM                    STORAGECLASS   REASON   AGE
nginx-html-pv   1Gi        RWO,RWX        Retain           Released   default/nginx-html-pvc                           2m17s

# 重新生成pvc，看看是否能绑定pv
[root@host21 pv]# kubectl apply -f nginx-demo.yaml 
pod/nginx-web created
persistentvolumeclaim/nginx-html-pvc created
persistentvolume/nginx-html-pv unchanged
service/nginx-svc unchanged

# 查看pvc和pod状态  - 可以看到pvc一直处于pending状态，导致pod也无法启动
[root@host21 pv]# kubectl get pvc
NAME             STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
nginx-html-pvc   Pending                                                     28s
[root@host21 pv]# kubectl get pod
NAME        READY   STATUS    RESTARTS   AGE
nginx-web   0/1     Pending   0          31s
[root@host21 pv]# 

# 修改pv的配置文件,将红色框住的部分删除，并保存退出
[root@host21 pv]# kubectl edit pv nginx-html-pvc

[kubernetes] 持久化存储之静态PV/PVC_html_08

# 可以看到pv处于Bound状态了，如果没有pvc绑定，就处于Available状态。
[root@host21 pv]# kubectl edit pv nginx-html-pv
persistentvolume/nginx-html-pv edited
[root@host21 pv]# kubectl get pv
NAME            CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                    STORAGECLASS   REASON   AGE
nginx-html-pv   1Gi        RWO,RWX        Retain           Bound    default/nginx-html-pvc                           8m27s
# 查看pvc和pod，并测试内容
[root@host21 pv]# kubectl get pvc,pod
NAME                                   STATUS   VOLUME          CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/nginx-html-pvc   Bound    nginx-html-pv   1Gi        RWO,RWX                       4m13s

NAME            READY   STATUS    RESTARTS   AGE
pod/nginx-web   1/1     Running   0          4m13s
[root@host21 pv]# curl 10.254.233.79
pv3



[kubernetes] 持久化存储之静态PV/PVC_html_09


相关推荐

【 云原生 | kubernetes 】资源对象 - 持久化存储PV,PVC

承蒙不弃 234 0 0

kubernetes数据持久化PV-PVC详解（一）

我是小瘦子哟 129 0 0

Kubernetes PV PVC

成义随笔 30 0 0

Kubernetes——pv（静态+动态storageclass）与pvc

凉夜lrs 67 0 0

使用 Kubeadm 部署 Kubernetes(K8S) 安装 -- 持久化存储(PV&PVC)

洲行 101 0 0

Kubernetes----高级存储之PV和PVC简介

seuleyang 99 0 0

【kubernetes】删除PV,PVC

乱世小白 106 0 0

kubernetes pvc pv 坑

北溟有渔夫 49 0 0

7.kubernetes存储卷、持久卷、pv和pvc、NFS CSI部署示例

夜空一星 66 0 0

【 云原生 | kubernetes 】持久化存储 - StorageClass动态绑定PV

代码敲到深夜 223 0 0

精彩评论（0）

0 0 举报