[toc]

一、高级存储

1. PV和PVC概述

前面我们已经学习了使用NFS提供存储,此时就要求用户会搭建NFS系统,并且会在yaml配置nfs。由于kubernetes支持的存储系统有很多,要求客户全部掌握,显然不现实。为了能够屏蔽底层存储实现的细节,方便用户使用,kubernetes引入了PV和PVC两种资源对象。

PV(Persistent Volume)是持久化卷的意思,是对底层的共享存储的一种抽象。一般情况下PV由kubernetes管理员进行创建和配置,它和底层具体的共享存储技术有关,并通过插件完成和共享存储的对接。

PVC(Persistent Volume Claim)是持久化卷声明的意思,是用户对于存储需求的一种声明。换言之,PVC其实就是用户向kubernetes系统发出的一种资源需求申请。

image.png

使用了PV和PVC之后,工作可以得到进一步的提升:

  1. 存储:存储工程师维护。
  2. PV:kubernetes管理员维护。
  3. PVC:kubernetes用户维护。

2. PV

2.1 PV的资源清单文件

PV是存储资源的抽象,下面是PV的资源清单文件:

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv2
spec:
  nfs: # 存储类型,和底层正则的存储对应
    path:
    server:
  capacity: # 存储能力,目前只支持存储空间的设置
    storage: 2Gi
  accessModes: # 访问模式
    -
  storageClassName: # 存储类别
  persistentVolumeReclaimPolicy: # 回收策略

pv的关键配置参数说明:

  1. 存储类型:底层实际存储的类型,kubernetes支持多种存储类型,每种存储类型的配置有所不同。

  2. 存储能力(capacity):目前只支持存储空间的设置(storage=1Gi),不过未来可能会加入IOPS、吞吐量等指标的配置。

  3. 访问模式(accessModes):
    用来描述用户应用对存储资源的访问权限,访问权限包括下面几种方式:
    3.1 ReadWriteOnce(RWO):读写权限,但是只能被单个节点挂载。
    3.2 ReadOnlyMany(ROX):只读权限,可以被多个节点挂载。
    3.3 ReadWriteMany(RWX):读写权限,可以被多个节点挂载。
    需要注意的是,底层不同的存储类型可能支持的访问模式不同。

  4. 回收策略( persistentVolumeReclaimPolicy):
    当PV不再被使用之后,对其的处理方式,目前支持三种策略:
    4.1 Retain(保留):保留数据,需要管理员手动清理数据。
    4.2 Recycle(回收):清除PV中的数据,效果相当于rm -rf /volume/*
    4.3 Delete(删除):和PV相连的后端存储完成volume的删除操作,常见于云服务器厂商的存储服务。
    需要注意的是,底层不同的存储类型可能支持的回收策略不同。

  5. 存储类别(storageClassName):PV可以通过storageClassName参数指定一个存储类别。

  6. 具有特定类型的PV只能和请求了该类别的PVC进行绑定。

  7. 未设定类别的PV只能和不请求任何类别的PVC进行绑定。

  8. 状态(status):一个PV的生命周期,可能会处于4种不同的阶段。
    8.1. Available(可用):表示可用状态,还未被任何PVC绑定。
    8.2 Bound(已绑定):表示PV已经被PVC绑定。
    8.3 Released(已释放):表示PVC被删除,但是资源还没有被集群重新释放。
    8.4 Failed(失败):表示该PV的自动回收失败。

2.2 准备工作(准备NFS环境)

创建目录:

mkdir -pv /root/data/{pv1,pv2,pv3}

授权:

chmod 777 -R /root/data

修改/etc/exports文件:

vim /etc/exports
/root/data/pv1     192.168.158.0/24(rw,no_root_squash) 
/root/data/pv2     192.168.158.0/24(rw,no_root_squash) 
/root/data/pv3     192.168.158.0/24(rw,no_root_squash)

重启nfs服务:

systemctl restart nfs

2.3 创建PV

创建pv.yaml文件,内容如下:

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv1
spec:
  nfs: # 存储类型吗,和底层正则的存储对应
    path: /root/data/pv1
    server: 192.168.158.200
  capacity: # 存储能力,目前只支持存储空间的设置
    storage: 1Gi
  accessModes: # 访问模式
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain # 回收策略

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv2
spec:
  nfs: # 存储类型吗,和底层正则的存储对应
    path: /root/data/pv2
    server: 192.168.158.200
  capacity: # 存储能力,目前只支持存储空间的设置
    storage: 2Gi
  accessModes: # 访问模式
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain # 回收策略
  
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv3
spec:
  nfs: # 存储类型吗,和底层正则的存储对应
    path: /root/data/pv3
    server: 192.168.158.200
  capacity: # 存储能力,目前只支持存储空间的设置
    storage: 3Gi
  accessModes: # 访问模式
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain # 回收策略

创建PV:

kubectl create -f pv.yaml

2.4 查看PV

查看PV:

kubectl get pv -o wide

image.png

3. PVC

3.1 PVC的资源清单文件

PVC是资源的申请,用来声明对存储空间、访问模式、存储类别需求信息,下面是PVC的资源清单文件:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc
  namespace: dev
spec:
  accessModes: # 访客模式
    - 
  selector: # 采用标签对PV选择
  storageClassName: # 存储类别
  resources: # 请求空间
    requests:
      storage: 5Gi

PVC的关键配置参数说明:

  1. 访客模式(accessModes):用于描述用户应用对存储资源的访问权限。
  2. 用于描述用户应用对存储资源的访问权限:
    2.1 选择条件(selector):通过Label Selector的设置,可使PVC对于系统中已存在的PV进行筛选。
    2.2 存储类别(storageClassName):PVC在定义时可以设定需要的后端存储的类别,只有设置了该class的pv才能被系统选出。
    2.3 资源请求(resources):描述对存储资源的请求。

3.2 创建PVC

创建pvc.yaml文件,内容如下:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc1
  namespace: dev
spec:
  accessModes: # 访客模式
    - ReadWriteMany
  resources: # 请求空间
    requests:
      storage: 1Gi

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc2
  namespace: dev
spec:
  accessModes: # 访客模式
    - ReadWriteMany
  resources: # 请求空间
    requests:
      storage: 1Gi

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc3
  namespace: dev
spec:
  accessModes: # 访客模式
    - ReadWriteMany
  resources: # 请求空间
    requests:
      storage: 5Gi

创建PVC:

kubectl create -f pvc.yaml

3.3 查看PVC

查看PVC:

kubectl get pvc -n dev -o wide

查看PV:

kubectl get pv -o wide

image.png

3.4 创建Pod使用PVC

创建pvc-pod.yaml文件,内容如下:

apiVersion: v1
kind: Pod
metadata:
  name: pod1
  namespace: dev
spec:
  containers:
  - name: busybox
    image: busybox:1.30
    command: ["/bin/sh","-c","while true;do echo pod1 >> /root/out.txt; sleep 10; done;"]
    volumeMounts:
    - name: volume
      mountPath: /root/
  volumes:
    - name: volume
      persistentVolumeClaim:
        claimName: pvc1
        readOnly: false

---
apiVersion: v1
kind: Pod
metadata:
  name: pod2
  namespace: dev
spec:
  containers:
    - name: busybox
      image: busybox:1.30
      command: ["/bin/sh","-c","while true;do echo pod1 >> /root/out.txt; sleep 10; done;"]
      volumeMounts:
        - name: volume
          mountPath: /root/
  volumes:
    - name: volume
      persistentVolumeClaim:
        claimName: pvc2
        readOnly: false

创建Pod:

kubectl create -f pvc-pod.yaml

3.3.5 创建Pod使用PVC后查看Pod

查看Pod:

kubectl get pod -n dev -o wide

image.png

3.6 创建Pod使用PVC后查看PVC

查看PVC:

kubectl get pvc -n dev -o wide

image.png

3.7 创建Pod使用PVC后查看PV

查看PV:

kubectl get pv -n dev -o wide

image.png

3.8 查看nfs中的文件存储

查看nfs中的文件存储:

ls /root/data/pv1/out.txt
ls /root/data/pv2/out.txt

image.png

4. 生命周期

image.png

PVC和PV是一一对应的,PV和PVC之间的相互作用遵循如下的生命周期。

  1. 资源供应:管理员手动创建底层存储和PV。
  2. 资源绑定:
    2.1 用户创建PVC,kubernetes负责根据PVC声明去寻找PV,并绑定在用户定义好PVC之后,系统将根据PVC对存储资源的请求在以存在的PV中选择一个满足条件的。
    2.1.1 一旦找到,就将该PV和用户定义的PVC进行绑定,用户的应用就可以使用这个PVC了。
    2.1.2 如果找不到,PVC就会无限期的处于Pending状态,直到系统管理员创建一个符合其要求的PV。
    2.2 PV一旦绑定到某个PVC上,就会被这个PVC独占,不能再和其他的PVC进行绑定了。
  3. 资源使用:用户可以在Pod中像volume一样使用PVC,Pod使用Volume的定义,将PVC挂载到容器内的某个路径进行使用。
  4. 资源释放:
    4.1 用户删除PVC来释放PV。
    4.2. 当存储资源使用完毕后,用户可以删除PVC,和该PVC绑定的PV将会标记为“已释放”,但是还不能立刻和其他的PVC进行绑定。通过之前PVC写入的数据可能还留在存储设备上,只有在清除之后该PV才能再次使用。
  5. 资源回收:
    5.1 kubernetes根据PV设置的回收策略进行资源的回收。
    5.2 对于PV,管理员可以设定回收策略,用于设置与之绑定的PVC释放资源之后如何处理遗留数据的问题。只有PV的存储空间完成回收,才能供新的PVC绑定和使用。

5. 创建PVC后一直绑定不了PV的原因

  1. PVC的空间申请大小比PV的空间要大。
  2. PVC的storageClassName和PV的storageClassName不一致。
  3. PVC的accessModes和PV的accessModes不一致。

Q.E.D.


只有创造,才是真正的享受,只有拚搏,才是充实的生活。