一、为什么做持久化存储？

在k8s中部署的应用都是以pod容器的形式运行的，假如我们部署MySQL、Redis等数据库，需要对这些数据库产生的数据做备份。
因为Pod是有生命周期的，如果pod不挂载数据卷，那pod被删除或重启后这些数据会随之消失，如果想要长久的保留这些数据就要用到pod数据持久化存储。

查看k8s支持哪些存储 kubectl explain pods.spec.volumes
常用的有emptyDir、hostPath 、nfs 、persistentVolumeClaim、glusterfs、cephfs、configMap、secret
我们想要使用存储卷，需要经历如下步骤：
1、定义pod的volume，这个volume指明它要关联到哪个存储上的
2、在容器中要使用volumemounts挂载对应的存储

二、k8s持久化存储：emptyDir

emptyDir类型的Volume是在Pod分配到Node上时被创建，Kubernetes会在Node上自动分配一个目录，因此无需指定宿主机Node上对应的目录文件。
这个目录的初始内容为空，当Pod从Node上移除时，emptyDir中的数据会被永久删除。emptyDir Volume主要用于某些应用程序无需永久保存的临时目录，多个容器的共享目录等。

Emptydir的官方网址：https://kubernetes.io/docs/concepts/storage/volumes#emptydir

# 创建一个pod，挂载临时目录emptyDir
[root@master 10]# cat emptydir.yaml
apiVersion: v1
kind:  Pod
metadata:name: pod-empty
spec:containers:- name: container-emptyimage: nginximagePullPolicy: IfNotPresentvolumeMounts:- name: cache-volume   # 将cache-volume的挂载到容器里面的/cache下mountPath: /cachevolumes:- emptyDir: {}  # 把临时目录做成一个卷name: cache-volume  # 临时卷卷名
[root@master 10]# kubectl apply -f emptydir.yaml# 查看本机临时目录存在的位置，可用如下方法：
# 查看pod调度到哪个节点
[root@master 10]# kubectl get pods -o wide | grep empty
pod-empty   1/1     Running   0          85s   10.244.140.83   node02   <none>           <none>
[root@master 10]# kubectl get pods pod-empty -o yaml | grep uiduid: 3570ddfd-b4ab-4500-928e-caa3f369c276

# 登录到对应节点上
[root@node02 ~]# yum install tree -y
[root@node02 ~]# tree /var/lib/kubelet/pods/3570ddfd-b4ab-4500-928e-caa3f369c276
/var/lib/kubelet/pods/3570ddfd-b4ab-4500-928e-caa3f369c276
├── containers
│   └── container-empty
│       └── e90c5eec
├── etc-hosts
├── plugins
│   └── kubernetes.io~empty-dir
│       ├── cache-volume
│       │   └── ready
│       └── wrapped_kube-api-access-896m7
│           └── ready
└── volumes├── kubernetes.io~empty-dir│   └── cache-volume  # 临时目录└── kubernetes.io~projected└── kube-api-access-896m7├── ca.crt -> ..data/ca.crt├── namespace -> ..data/namespace└── token -> ..data/token

缺点：pod删除后，对应的UID的目录就没有了，里面的临时目录也就没有了。所以，emptyDir只适合做测试用。

三、k8s持久化存储：hostPath

hostPath Volume是指Pod挂载宿主机上的目录或文件。 hostPath Volume使得容器可以使用宿主机的文件系统进行存储，hostpath（宿主机路径）：节点级别的存储卷，在pod被删除，这个存储卷还是存在的，不会被删除
所以只要同一个pod被调度到同一个节点上来，在pod被删除重新被调度到这个节点之后，对应的数据依然是存在的。

查看hostPath存储卷的用法: kubectl explain pods.spec.volumes.hostPath

# 创建一个pod，挂载hostPath存储卷
[root@master 10]# cat hostpath.yaml
apiVersion: v1
kind: Pod
metadata:name: test-hostpath
spec:nodeName: node01containers:- name: test-nginximage: nginximagePullPolicy: IfNotPresentvolumeMounts:- name: test-volumemountPath: /test-nginx- name: test-tomcatimage: tomcat:8.5-jre8-alpineimagePullPolicy: IfNotPresentvolumeMounts:- name: test-volumemountPath: /test-tomcatvolumes:- hostPath:path: /data1   type: DirectoryOrCreate # 如果宿主机该目录不存在，则创建，权限设置为0755name: test-volume
[root@master 10]# kubectl apply -f hostpath.yaml
[root@master 10]# kubectl get pod
NAME            READY   STATUS    RESTARTS   AGE
test-hostpath   2/2     Running   0          70s

数据卷类型：https://kubernetes.io/zh-cn/docs/concepts/storage/volumes/

由上面可以知道pod调度到了node01上，登录到node01机器，查看是否在这台机器创建了存储目录

[root@node01 /]# ll -d data1 
drwxr-xr-x 2 root root 6 Dec 10 20:38 data1
# 进入容器，创建文件
[root@master 10]# kubectl exec -it test-hostpath -c test-nginx /bin/bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
root@test-hostpath:/# cd /test-nginx
root@test-hostpath:/test-nginx# touch nginx
root@test-hostpath:/test-nginx# ls
nginx
# 宿主机对应路径下存在该文件，说明已经把宿主机目录挂载到了容器里
[root@node01 /]# cd data1
[root@node01 data1]# ls
nginx

缺点：单节点。pod删除之后重新创建必须调度到同一个node节点，数据才不会丢失
可以用分布式存储：nfs，cephfs，glusterfs

四、k8s持久化存储：nfs

NFS：网络文件系统，英文Network File System(NFS)，是由SUN公司研制的UNIX表示层协议(presentation layer protocol)，能使使用者访问网络上别处的文件就像在使用自己的计算机一样。

4.1、搭建nfs服务

# 1、以k8s的控制节点作为NFS服务
[root@master 10]# yum install nfs-utils -y 
# 2、在宿主机创建NFS需要的共享目录
[root@master 10]#  mkdir /data/volumes -pv
mkdir: created directory ‘/data/volumes’
# 3、配置nfs共享服务器上的/data/volumes目录
[root@master 10]# systemctl start nfs
[root@master 10]# cat /etc/exports
/data/volumes *(rw,no_root_squash)
# rw 该主机对该共享目录有读写权限
# no_root_squash 登入 NFS 主机使用分享目录的使用者，如果是 root 的话，那么对于这个分享的目录来说，他就具有 root 的权限# 4、重启nfs、设置开机自启、检查
[root@master 10]# exportfs -arv
[root@master 10]#  service nfs restart # 不重启也可以，不影响
[root@master 10]# systemctl enable nfs
[root@master 10]# systemctl status nfs
● nfs-server.service - NFS server and servicesLoaded: loaded (/usr/lib/systemd/system/nfs-server.service; enabled; vendor preset: disabled)Drop-In: /run/systemd/generator/nfs-server.service.d└─order-with-mounts.confActive: active (exited) since Sun 2023-12-10 20:56:24 CST; 13s agoMain PID: 29331 (code=exited, status=0/SUCCESS)CGroup: /system.slice/nfs-server.service

# 工作节点安装nfs驱动
[root@node01 ~]# yum install nfs-utils -y
[root@node02 ~]# yum install nfs-utils -y
[root@node01 ~]# systemctl enable  nfs --now
[root@node02 ~]# systemctl enable  nfs --now
# 测试nfs是否可以被正常挂载
[root@node01 ~]#  mkdir /test 
[root@node01 ~]#  mount 10.32.1.147:/data/volumes /test/
[root@node01 ~]# df -h|grep 147
10.32.1.147:/data/volumes  200G   50G  150G  26% /test
# 手动卸载
[root@node01 ~]#  umount /test

4.2、挂载nfs共享目录

Pod挂载nfs的官方地址：https://kubernetes.io/zh/docs/concepts/storage/volumes/

# 1、创建pod，挂载nfs共享出来的目录
[root@master 10]# cat nfs.yaml
apiVersion: apps/v1
kind: Deployment
metadata:name: nfs-test
spec:replicas: 3selector:matchLabels:cunchu: nfstemplate:metadata:labels:cunchu: nfsspec:containers:- name: test-nfsimage: xianchao/nginx:v1 # 这里的镜像根据实际情况替换imagePullPolicy: IfNotPresentports:- containerPort: 80protocol: TCPvolumeMounts:- name: nfs-volumesmountPath: /usr/share/nginx/htmlvolumes:- name: nfs-volumesnfs:server: 10.32.1.147   # 提供nfs服务的主机ip，我这里就是控制节点master的ippath: /data/volumes   # nfs的共享目录
[root@master 10]# kubectl apply -f nfs.yaml
[root@master 10]#  kubectl get pods -o wide
NAME                       READY   STATUS    RESTARTS   AGE   IP               NODE     NOMINATED NODE   READINESS GATES
nfs-test-64466f5c4-gm52s   1/1     Running   0          61s   10.244.196.141   node01   <none>           <none>
nfs-test-64466f5c4-pcqsh   1/1     Running   0          63s   10.244.140.86    node02   <none>           <none>
nfs-test-64466f5c4-vp85f   1/1     Running   0          59s   10.244.140.87    node02   <none>           <none>

# 2、登录到nfs服务器，在共享目录创建一个index.html
[root@master ~]# cd /data/volumes
[root@master volumes]# vim index.html
[root@master volumes]# cat index.html
Hello, Everyone
My name is hejin
My Chat is hj68223
# 3、进入其中一个容器，查看是否存在这个文件
[root@master volumes]# kubectl exec -it nfs-test-64466f5c4-gm52s  /bin/bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
root@nfs-test-64466f5c4-gm52s:/# cd /usr/share/nginx/html
root@nfs-test-64466f5c4-gm52s:/usr/share/nginx/html# ls
index.html# 4、请求pod的ip，看结果
[root@master 10]# curl 10.244.196.141
Hello, Everyone
My name is hejin
My Chat is hj68223
# 通过上面可以看到，在共享目录创建的index.html已经被pod挂载了

上面说明挂载nfs存储卷成功了，nfs支持多个客户端挂载，可以创建多个pod，挂载同一个nfs服务器共享出来的目录；
但是nfs如果宕机了，数据也就丢失了，所以需要使用分布式存储，常见的分布式存储有glusterfs和cephfs。

五、k8s持久化存储： PVC

参考官网:https://kubernetes.io/docs/concepts/storage/persistent-volumes/#access-modes

5.1、什么是PV

PersistentVolume（PV）是群集中的一块存储，由管理员配置或使用存储类动态配置。
它是集群中的资源，就像pod是k8s集群资源一样。
PV是容量插件，如Volumes，其生命周期独立于使用PV的任何单个pod。

5.2、什么是PVC

PersistentVolumeClaim（PVC）是一个持久化存储卷，我们在创建pod时可以定义这个类型的存储卷。
它类似于一个pod。 Pod消耗节点资源，PVC消耗PV资源。
Pod可以请求特定级别的资源（CPU和内存）。
pvc在申请pv的时候也可以请求特定的大小和访问模式（例如，可以一次读写或多次只读）。

5.3、PV和PVC工作原理

PV是群集中的资源。 PVC是对这些资源的请求。
PV和PVC之间的相互作用遵循以下生命周期：

【1】pv供应方式

可以通过两种方式配置PV：静态或动态。

静态的：

集群管理员创建了许多PV。它们包含可供群集用户使用的实际存储的详细信息。它们存在于Kubernetes API中，可供使用。

动态的：

当管理员创建的静态PV都不匹配用户的PersistentVolumeClaim时，群集可能会尝试为PVC专门动态配置卷。
此配置基于StorageClasses，PVC必须请求存储类，管理员必须创建并配置该类，以便进行动态配置。

【2】绑定

用户创建pvc并指定需要的资源和访问模式。在找到可用pv之前，pvc会保持未绑定状态

【3】使用

a）需要找一个存储服务器，把它划分成多个存储空间；
b）k8s管理员可以把这些存储空间定义成多个pv；
c）在pod中使用pvc类型的存储卷之前需要先创建pvc，通过定义需要使用的pv的大小和对应的访问模式，找到合适的pv；
d）pvc被创建之后，就可以当成存储卷来使用了，我们在定义pod时就可以使用这个pvc的存储卷
e）pvc和pv它们是一一对应的关系，pv如果被pvc绑定了，就不能被其他pvc使用了；
f）我们在创建pvc的时候，应该确保和底下的pv能绑定，如果没有合适的pv，那么pvc就会处于pending状态。

【4】回收策略

回收策略：persistentVolumeReclaimPolicy字段

当我们创建pod时如果使用pvc做为存储卷，那么它会和pv绑定，当删除pod，pvc和pv绑定就会解除

解除之后和pvc绑定的pv卷里的数据需要怎么处理，目前，卷可以保留，回收或删除：
Retain
Recycle （不推荐使用，1.15可能被废弃了）
Delete

1、Retain
当删除pvc的时候，pv仍然存在，处于released状态，但是它不能被其他pvc绑定使用，里面的数据还是存在的，当我们下次再使用的时候，数据还是存在的，这个是默认的回收策略

2、Delete
删除pvc时即会从Kubernetes中移除PV，也会从相关的外部设施中删除存储资产

5.4、使用pvc作为持久化存储卷

创建pod，使用pvc作为持久化存储卷

【1】创建nfs共享目录

# 1、在宿主机创建NFS需要的共享目录
[root@master 10]# mkdir cd v{1,2,3,4,5,6,7,8,9,10} -p
[root@master volumes]# cd /data/volume_test/
[root@master volume_test]# ls
v1  v10  v2  v3  v4  v5  v6  v7  v8  v9# 2、配置nfs共享宿主机上的/data/volume_test/v1..v10目录
[root@master 10]# cat /etc/exports
/data/volumes *(rw,no_root_squash)
/data/volume_test/v1 *(rw,no_root_squash)
/data/volume_test/v2 *(rw,no_root_squash)
/data/volume_test/v3 *(rw,no_root_squash)
/data/volume_test/v4 *(rw,no_root_squash)
/data/volume_test/v5 *(rw,no_root_squash)
/data/volume_test/v6 *(rw,no_root_squash)
/data/volume_test/v7 *(rw,no_root_squash)
/data/volume_test/v8 *(rw,no_root_squash)
/data/volume_test/v9 *(rw,no_root_squash)
/data/volume_test/v10 *(rw,no_root_squash)
# 重新加载配置，使配置成效
[root@master 10]# exportfs -arv

【2】创建PV

参考：https://kubernetes.io/zh/docs/concepts/storage/persistent-volumes/#reclaiming

[root@master 10]# cat pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:name: v1labels:app: v1
spec:nfs:server: 10.32.1.147path: /data/volume_test/v1accessModes: ["ReadWriteOnce"] # 访问模式 RWOcapacity:storage: 1Gi  # 设置存储容量
---
apiVersion: v1
kind: PersistentVolume
metadata:name: v2labels:app: v2
spec:nfs:server: 10.32.1.147path: /data/volume_test/v2accessModes: ["ReadOnlyMany"] # 访问模式 ROXcapacity:storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:name: v3labels:app: v3
spec:nfs:server: 10.32.1.147path: /data/volume_test/v3accessModes: ["ReadWriteMany"] # 访问模式 RWXcapacity:storage: 3Gi
[root@master 10]# kubectl apply -f pv.yaml
persistentvolume/v1 created
persistentvolume/v2 created
persistentvolume/v3 created
[root@master 10]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
v1     1Gi        RWO            Retain           Available                                   26s
v2     2Gi        ROX            Retain           Available                                   26s
v3     3Gi        RWX            Retain           Available                                   26s

注解：

• RWO：readwariteonce： 单路读写，允许同一个node节点上的pod访问
• ROX： readonlymany: 多路只读，允许不同node节点的pod以只读方式访问
• RWX： readwritemany： 多路读写，允许不同的node节点的pod以读写方式访问

【3】创建PVC

创建pvc，和符合条件的pv绑定

[root@master 10]# cat pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: pvc-v1
spec:accessModes: ["ReadWriteOnce"]selector:matchLabels:app: v1resources:requests:storage: 1Gi
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: pvc-v2
spec:accessModes: ["ReadOnlyMany"]selector:matchLabels:app: v2resources:requests:storage: 2Gi
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: pvc-v3
spec:accessModes: ["ReadWriteMany"]selector:matchLabels:app: v3resources:requests:storage: 3Gi
[root@master 10]# kubectl apply -f pvc.yaml
persistentvolumeclaim/pvc-v1 created
persistentvolumeclaim/pvc-v2 created
persistentvolumeclaim/pvc-v3 created
[root@master 10]# kubectl get pvc
NAME     STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc-v1   Bound    v1       1Gi        RWO                           57s
pvc-v2   Bound    v2       2Gi        ROX                           57s
pvc-v3   Bound    v3       3Gi        RWX                           57s
# 看到pvc的status都是bound状态，就说明pvc跟pv已经绑定了

【4】创建pod，挂载PVC

[root@master 10]# cat pod_pvc.yaml
apiVersion: apps/v1
kind: Deployment
metadata:name: pvc-test
spec:replicas: 3selector:matchLabels:cunchu: pvctemplate:metadata:labels:cunchu: pvcspec:containers:- name: test-pvcimage: docker.io/library/nginx:latest # 根据自己请情况替换镜像imagePullPolicy: IfNotPresentports:- containerPort: 80protocol: TCPvolumeMounts:- name: nginx-htmlmountPath: /usr/share/nginx/htmlvolumes:- persistentVolumeClaim:claimName: pvc-v1name: nginx-html
[root@master 10]# kubectl apply -f pod_pvc.yaml
[root@master 10]# kubectl get pod|grep pvc
pvc-test-64bfccc668-bq529   1/1     Running   0          39s
pvc-test-64bfccc668-bxjqx   1/1     Running   0          39s
pvc-test-64bfccc668-t8xjt   1/1     Running   0          39s

# 验证是否挂载成功
[root@master 10]# cd /data/volume_test/v1
[root@master v1]# ls
[root@master v1]# mkdir lucky
[root@master v1]# kubectl exec -it pvc-test-64bfccc668-bq529 /bin/bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
root@pvc-test-64bfccc668-bq529:/# cd /usr/share/nginx/html/
root@pvc-test-64bfccc668-bq529:/usr/share/nginx/html# ls
lucky

注：使用pvc和pv的注意事项

1、我们每次创建pvc的时候，需要事先有划分好的pv，这样可能不方便，那么可以在创建pvc的时候直接动态创建一个pv这个存储类，pv事先是不存在的

2、pvc和pv绑定，如果使用默认的回收策略retain，那么删除pvc之后，pv会处于released状态，我们想要继续使用这个pv，需要手动删除pv，kubectl delete pv pv_name，删除pv，不会删除pv里的数据，当我们重新创建pvc时还会和这个最匹配的pv绑定，数据还是原来数据，不会丢失。

经过测试，如果回收策略是Delete，删除pv，pv后端存储的数据也不会被删除

删除pvc的步骤：
1、需要先删除使用pvc的pod

[root@master 10]# kubectl delete -f pod_pvc.yaml
deployment.apps "pvc-test" deleted

2、再删除pvc

[root@master 10]# kubectl delete pvc pvc-v1 pvc-v2 pvc-v3
[root@master 10]#  kubectl get pvc
No resources found in default namespace.
[root@master 10]#  kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM            STORAGECLASS   REASON   AGE
v1     1Gi        RWO            Retain           Released   default/pvc-v1                           41m
v2     2Gi        ROX            Retain           Released   default/pvc-v2                           41m
v3     3Gi        RWX            Retain           Released   default/pvc-v3                           41m

pv状态变成Released ，就已经不能使用，需要删除，再重新创建后才能继续使用。
但是共享目录下面的数据是不会被删除的，可以放心使用。

演示pv用Delete回收策略
1、创建pv

[root@master 10]# cat pv-1.yaml
apiVersion: v1
kind: PersistentVolume
metadata:name: v4labels:app: v4
spec:nfs:server: 10.32.1.147path: /data/volume_test/v4accessModes: ["ReadWriteOnce"]capacity:storage: 1GipersistentVolumeReclaimPolicy: Delete[root@master 10]# kubectl apply -f  pv-1.yaml

2、创建pvc

[root@master 10]# cat pvc-1.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: pvc-v4
spec:accessModes: ["ReadWriteOnce"]selector:matchLabels:app: v4resources:requests:storage: 1Gi
[root@master 10]# kubectl apply -f pvc-1.yaml
[root@master 10]# kubectl get pvc
NAME     STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc-v4   Bound    v4       1Gi        RWO                           17s

3、创建pod

[root@master 10]# cat pod_pvc-2.yaml
apiVersion: apps/v1
kind: Deployment
metadata:name: pvc-test-1
spec:replicas: 3selector:matchLabels:cunchu: pvc-1template:metadata:labels:cunchu: pvc-1spec:containers:- name: test-pvcimage: docker.io/library/nginx:latestimagePullPolicy: IfNotPresentports:- containerPort: 80protocol: TCPvolumeMounts:- name: nginx-htmlmountPath: /usr/share/nginx/htmlvolumes:- persistentVolumeClaim:claimName: pvc-v4name: nginx-htmlname: nginx-html
[root@master 10]# kubectl apply -f pod_pvc-2.yaml
[root@master 10]# kubectl get pod|grep pvc
pvc-test-1-6f5d6d8699-5mbn6   1/1     Running   0          27s
pvc-test-1-6f5d6d8699-gjv4s   1/1     Running   0          27s
pvc-test-1-6f5d6d8699-xh4c9   1/1     Running   0          27s

4、验证是否共享存储卷

 [root@master v4]# cd /data/volume_test/v4
[root@master v4]# ll
total 0
[root@master v4]# mkdir lucky
[root@master v4]# ll
total 0
drwxr-xr-x. 2 root root 6 Dec 10 22:46 lucky
[root@master 10]# kubectl exec -it pvc-test-1-6f5d6d8699-5mbn6 -- /bin/bash
root@pvc-test-1-6f5d6d8699-5mbn6:/# cd /usr/share/nginx/html/
root@pvc-test-1-6f5d6d8699-5mbn6:/usr/share/nginx/html# ls
lucky

[root@master 10]# kubectl delete -f pod_pvc-2.yaml
[root@master 10]# kubectl get pvc
NAME     STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc-v4   Bound    v4       1Gi        RWO                           17m
[root@master 10]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM            STORAGECLASS   REASON   AGE
v4     1Gi        RWO            Delete           Bound      default/pvc-v4                           11m[root@master 10]# kubectl delete pvc pvc-v4
[root@master 10]# kubectl get pv|grep v4  
# 此处有问题，pv的状态为Failed ，所以共享目录中数据没有被删除，后续有空再排查原因......
v4     1Gi        RWO            Delete           Failed     default/pvc-v4                           19m

当与该PV相关联的PVC（Persistent Volume Claim）被删除时，PV上的数据将被自动删除。
换句话说，一旦没有任何PVC使用这个PV，Kubernetes将自动删除PV中的数据以及PV本身。这种行为确保了资源的及时释放，以及在没有使用的PV上不会保留不必要的数据。
因此，在设置PV时，需要根据实际需求谨慎选择适当的删除策略，以确保数据和资源的合理管理。