k8s存储卷

目录

  • 一、为什么要存储卷?
  • 二、emptyDir存储卷
  • 三、hostPath存储卷
  • 四、 nfs共享存储卷
  • 五、PVC 和 PV
    • 5.1 PV和PVC之间的相互作用遵循的生命周期
    • 5.2 PV 的状态
    • 5.3 一个PV从创建到销毁的具体流程
  • 六、静态创建pv和pvc资源由pod运用过程
    • 6.1 在NFS主机上创建共享目录,并且进行exportfs发布
    • 6.2 在master主机编写pv资源创建yaml
    • 6.3 创建pvc资源,并且设置匹配绑定相应的pv
    • 6.4 挂载共享卷,并且进行共享目录写入测试
    • 6.5 K8S支持的存储卷的访问模式
  • 七、StorageClass + nfs-client-provisioner搭建动态创建pv
    • 7.1 在NFS服务器配置nfs服务
    • 7.2 创建 Service Account,用来管理 NFS Provisioner 在 k8s 集群中运行的权限和动态规则
    • 7.3 创建 StorageClass,负责建立 PVC 并调用 NFS provisioner 进行预定的工作,并让 PV 与 PVC 建立关联
    • 7.4 挂载共享卷,并且进行共享目录写入测试
  • 八、 总结


一、为什么要存储卷?

容器磁盘上的文件的生命周期是短暂的,这就使得在容器中运行重要应用时会出现一些问题。首先,当容器崩溃时,kubelet 会重启它,但是容器中的文件将丢失——容器以干净的状态(镜像最初的状态)重新启动。其次,在Pod中同时运行多个容器时,这些容器之间通常需要共享文件。Kubernetes 中的Volume抽象就很好的解决了这些问题。Pod中的容器通过Pause容器共享Volume

二、emptyDir存储卷

当Pod被分配给节点时,首先创建emptyDir卷,并且只要该Pod在该节点上运行,该卷就会存在。正如卷的名字所述,它最初是空的。Pod 中的容器可以读取和写入emptyDir卷中的相同文件,尽管该卷可以挂载到每个容器中的相同或不同路径上。当出于任何原因从节点中删除 Pod 时,emptyDir中的数据将被永久删除。

emptyDir可实现Pod中的容器之间共享目录数据,但是emptyDir卷不能持久化数据,会随着Pod生命周期结束而一起删除。

//创建一个模板文件
mkdir /opt/volumes
cd /opt/volumeskubectl run myapp-demo --image=soscscs/myapp:v1 --port=80 --dry-run=client -o yaml > myapp-demo.yamlvim myapp-demo.yamlapiVersion: v1
kind: Pod
metadata:labels:run: myapp-demoname: myapp-demo
spec:containers:- image: soscscs/myapp:v1name: myapp-demoports:- containerPort: 80
cp myapp-demo.yaml demo1-emptydir.yaml
vim demo1-emptydir.yamlapiVersion: v1
kind: Pod
metadata:labels:run: myapp-demoname: myapp-empty
spec:volumes:- name: test-volemptyDir: {}containers:- image: soscscs/myapp:v1name: myapp-demoports:- containerPort: 80volumeMounts:- name: test-volmountPath: /var/www/- image: busybox:1.28name: busybox-demoports:- containerPort: 80command: ['/bin/sh','-c','sleep 3600']volumeMounts:- name: test-volmountPath: /data/

在这里插入图片描述

在这里插入图片描述

kubectl describe pod myapp-empty 

在这里插入图片描述

kubectl exec -it myapp-empty -c myapp-demo sh
//再另外开一个进程
kubectl exec -it myapp-empty -c busybox-demo sh

在这里插入图片描述
在这里插入图片描述

三、hostPath存储卷

hostPath卷将 node 节点的文件系统中的文件或目录挂载到集群中。
hostPath可以实现持久存储,但是在node节点故障时,也会导致数据的丢失。

把Node节点上的目录/文件挂载到容器中,可实现持久化数据存储。但是存储空间会受到Node节点的单机限制,Node节点故障数据就会丢失,且Pod不能实现跨节点共享数据

https://kubernetes.io/docs/concepts/storage/volumes#hostpath

cp myapp-demo.yaml demo2-hostpath.yaml 
vim demo2-hostpath.yaml apiVersion: v1
kind: Pod
metadata:labels:run: myapp-demoname: myapp-demo
spec:volumes:- name: hostpath-volhostPath:path: /var/www/html/type: DirectoryOrCreatenodeSelector:test: bcontainers:- image: soscscs/myapp:v1name: myapp-demoports:- containerPort: 80volumeMounts:- name: hostpath-volmountPath: /usr/share/nginx/html/readOnly: false

在这里插入图片描述

kubectl apply -f demo2-hostpath.yaml
kubectl get pods -o wide

在这里插入图片描述
在这里插入图片描述

//进入容器
kubectl exec -it myapp-demo sh

在这里插入图片描述
在这里插入图片描述
在创建Pod时,node02节点的目录会自动挂载到容器的目录上
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、 nfs共享存储卷

另开一台节点上安装nfs,并配置nfs服务

在这里插入图片描述

//在master节点部署
cp myapp-demo.yaml demo3.nfs.yaml
vim demo3.nfs.yaml apiVersion: v1
kind: Pod
metadata:labels:run: myapp-demo3name: myapp-demo3
spec:volumes:- name: test-nfsnfs:path: /opt/shareserver: 192.168.154.13containers:- image: soscscs/myapp:v1name: myapp-demoports:- containerPort: 80volumeMounts:- name: test-nfsmountPath: /usr/share/nginx/html
 kubectl apply -f demo3.nfs.yamlkubectl get pods -owide
vim demo3.nfs.yaml apiVersion: v1
kind: Pod
metadata:labels:run: myapp-demo3name: myapp-demo4
spec:nodeName: node02volumes:- name: test-nfsnfs:path: /opt/shareserver: 192.168.154.13containers:- image: soscscs/myapp:v1name: myapp-demoports:- containerPort: 80volumeMounts:- name: test-nfsmountPath: /usr/share/nginx/html
 kubectl apply -f demo3.nfs.yamlkubectl get pods -owide

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

 kubectl exec -it myapp-demo3 shcd /usr/share/nginx/html/kubectl exec -it myapp-demo4 shcd /usr/share/nginx/html/  

在这里插入图片描述
在这里插入图片描述

五、PVC 和 PV

PV 全称叫做 Persistent Volume,持久化存储卷。它是用来描述或者说用来定义一个存储卷的,这个通常都是由运维工程师来定义。

PVC 的全称是 Persistent Volume Claim,是持久化存储的请求。它是用来描述希望使用什么样的或者说是满足什么条件的 PV 存储。

PVC 的使用逻辑:在 Pod 中定义一个存储卷(该存储卷类型为 PVC),定义的时候直接指定大小,PVC 必须与对应的 PV 建立关系,PVC 会根据配置的定义去 PV 申请,而 PV 是由存储空间创建出来的。PV 和 PVC 是 Kubernetes 抽象出来的一种存储资源。
在这里插入图片描述
一个PV可以个一个或多个POD使用,PV是k8s集群里专用的存储资源,是逻辑划分存储设备空间的资源对象。存储资源要提供存储空间给存储资源使用,不能凭空出现
真正提供存储空间的是存储设备,如硬盘挂载的目录,nfs共享的目录,ceph分布式存储等
我们作为K8S集群管理员,可以在K8S集群中创建PV,再从存储设备划分存储空间给PV
然后我的POD想引用哪个PV,得先定义一个PVC,用来描述希望使用什么样的或者说是满足什么条件的 PV 存储,比如多大存储空间,是专用,是一对一,还是一对多
POD会根据PVC去找符合条件的PV进行绑定,最后给POD挂载使用

上面介绍的PV和PVC模式是需要运维人员先创建好PV,然后开发人员定义好PVC进行一对一的Bond,但是如果PVC请求成千上万,那么就需要创建成千上万的PV,对于运维人员来说维护成本很高,Kubernetes提供一种自动创建PV的机制,叫StorageClass,它的作用就是创建PV的模板。

创建 StorageClass 需要定义 PV 的属性,比如存储类型、大小等;另外创建这种 PV 需要用到的存储插件,比如 Ceph 等。 有了这两部分信息,Kubernetes 就能够根据用户提交的 PVC,找到对应的 StorageClass,然后 Kubernetes 就会调用 StorageClass 声明的存储插件,自动创建需要的 PV 并进行绑定。

动态创建PV
在这里插入图片描述
怎样动态创建PV?
使用StorageClass 引用某一存储设备的存储卷插件,通过调用存储卷插件去到存储设备中动态创建符合PVC需求的存储资源,然后PV和PVC进行绑定,这样Pod就可以使用PV的存储空间

PV是集群中的资源。 PVC是对这些资源的请求,也是对资源的索引检查。

5.1 PV和PVC之间的相互作用遵循的生命周期

PV和PVC之间的相互作用遵循这个生命周期:
Provisioning(配置)—> Binding(绑定)—> Using(使用)—> Releasing(释放) —> Recycling(回收)

Provisioning即 PV 的创建,可以直接创建 PV(静态方式),也可以使用 StorageClass 动态创建
Binding将 PV 分配给 PVC
UsingPod 通过 PVC 使用该 Volume,并可以通过准入控制StorageProtection(1.9及以前版本为PVCProtection) 阻止删除正在使用的 PVC
ReleasingPod 释放 Volume 并删除 PVC
Reclaiming回收 PV,可以保留 PV 以便下次使用,也可以直接从云存储中删除

5.2 PV 的状态

根据这 5 个阶段,PV 的状态有以下 4 种:
Available(可用):表示可用状态,还未被任何 PVC 绑定
Bound(已绑定):表示 PV 已经绑定到 PVC
Released(已释放):表示 PVC 被删掉,但是资源尚未被集群回收
Failed(失败):表示该 PV 的自动回收失败

5.3 一个PV从创建到销毁的具体流程

1、一个PV创建完后状态会变成Available,等待被PVC绑定。

2、一旦被PVC邦定,PV的状态会变成Bound,就可以被定义了相应PVC的Pod使用。

3、Pod使用完后会释放PV,PV的状态变成Released。

4、变成Released的PV会根据定义的回收策略做相应的回收工作。有三种回收策略,Retain、Delete和Recycle。Retain就是保留现场,K8S集群什么也不做,等待用户手动去处理PV里的数据,处理完后,再手动删除PV。Delete策略,K8S会自动删除该PV及里面的数据。Recycle方式,K8S会将PV里的数据删除,然后把PV的状态变成Available,又可以被新的PVC绑定使用。

六、静态创建pv和pvc资源由pod运用过程

如图所示我们将选择一台k8s集群之外的服务器作为NFS共享存储服务器,并且按照图中的规格

创建pv,再由k8s集群创建pv资源和pvc资源,最后将其挂载在pod上进行使用
在这里插入图片描述

6.1 在NFS主机上创建共享目录,并且进行exportfs发布

mkdir -p /opt/k8s/v{1..5}
ls -R k8s/vim /etc/exports
systemctl status nfs
exportfs -arv

在这里插入图片描述

在这里插入图片描述

//其他两个node节点能不能看到
showmount -e 192.168.154.13

在这里插入图片描述

6.2 在master主机编写pv资源创建yaml

访问模式有:

  • ReadWriteOnce
    卷可以被一个节点以读写方式挂载。 ReadWriteOnce 访问模式也允许运行在同一节点上的多个 Pod 访问卷。
  • ReadOnlyMany
    卷可以被多个节点以只读方式挂载。
  • ReadWriteMany
    卷可以被多个节点以读写方式挂载。
//在master主机编写pv资源创建yaml
mkdir pv
cd pv/
vim pv1.yamlapiVersion: v1
kind: PersistentVolume
metadata:name: pv001
spec:accessModes:- ReadWriteOnce- ReadWriteManycapacity:storage: 1Ginfs:path: /opt/k8s/v1server: 192.168.154.13
---
apiVersion: v1
kind: PersistentVolume
metadata:name: pv002
spec:accessModes:- ReadWriteOncecapacity:storage: 2Ginfs:path: /opt/k8s/v2server: 192.168.154.13
---
apiVersion: v1
kind: PersistentVolume
metadata:name: pv003
spec:accessModes:- ReadWriteOnce- ReadWriteManycapacity:storage: 2Ginfs:path: /opt/k8s/v3server: 192.168.154.13
---
apiVersion: v1
kind: PersistentVolume
metadata:name: pv004
spec:accessModes:- ReadWriteOnce- ReadWriteManycapacity:storage: 4Ginfs:path: /opt/k8s/v4server: 192.168.154.13
---
apiVersion: v1
kind: PersistentVolume
metadata:name: pv005
spec:accessModes:- ReadWriteOnce- ReadWriteManycapacity:storage: 5Ginfs:path: /opt/k8s/v1server: 192.168.154.13
kubectl apply -f pv1.yaml
kubectl get pv

在这里插入图片描述

6.3 创建pvc资源,并且设置匹配绑定相应的pv

https://kubernetes.io/docs/concepts/storage/persistent-volumes#persistentvolumeclaims

vim pvc1.yamlapiVersion: v1
kind: PersistentVolumeClaim
metadata:name: mypvc01
spec:accessModes:- ReadWriteManyresources:requests:storage: 2Gi

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.4 挂载共享卷,并且进行共享目录写入测试

 kubectl run myapp-demo --image=soscscs/myapp:v1 --port=80 --dry-run=client -oyaml > myapp-demo.yaml
cp myapp-demo.yaml demo1.yaml
vim demo1.yamlapiVersion: v1
kind: Pod
metadata:labels:run: myapp-demo1name: myapp-demo1
spec:volumes:- name: test-volpersistentVolumeClaim:claimName: mypvc01containers:- image: soscscs/myapp:v1name: myapp-demo1ports:- containerPort: 80volumeMounts:- name: test-volmountPath: /data/
kubectl apply -f demo1.yaml 
kubectl exec -it myapp-demo1 sh
cd /data/
echo 'Hello World' > index.html

在这里插入图片描述
在这里插入图片描述

6.5 K8S支持的存储卷的访问模式

在这里插入图片描述

其中 × 表示支持,- 表示不支持

七、StorageClass + nfs-client-provisioner搭建动态创建pv

StorageClass + nfs-client-provisioner的理解
上面介绍的PV和PVC模式是需要运维人员先创建好PV,然后开发人员定义好PVC进行一对一的Bond,但是如果PVC请求成千上万,那么就需要创建成千上万的PV,对于运维人员来说维护成本很高,Kubernetes提供一种自动创建PV的机制,叫StorageClass,它的作用就是创建PV的模板。

创建 StorageClass 需要定义 PV 的属性,比如存储类型、大小等;另外创建这种 PV 需要用到的存储插件,比如 Ceph 等。 有了这两部分信息,Kubernetes 就能够根据用户提交的 PVC,找到对应的 StorageClass,然后 Kubernetes 就会调用 StorageClass 声明的存储插件,自动创建需要的 PV 并进行绑定。

Kubernetes 本身支持的动态 PV 创建不包括 NFS,所以需要使用外部存储卷插件分配PV。详见:https://kubernetes.io/zh/docs/concepts/storage/storage-classes/

卷插件称为 Provisioner(存储分配器),NFS 使用的是 nfs-client,这个外部卷插件会使用已经配置好的 NFS 服务器自动创建 PV。
Provisioner:用于指定 Volume 插件的类型,包括内置插件(如 kubernetes.io/aws-ebs)和外部插件(如 external-storage 提供的 ceph.com/cepfs)。

7.1 在NFS服务器配置nfs服务

//nfs服务器
mkdir /opt/k8s
vim /etc/exports
/opt/k8s 192.168.154.0/24(rw,sync,no_root_squash)

在这里插入图片描述
在这里插入图片描述

7.2 创建 Service Account,用来管理 NFS Provisioner 在 k8s 集群中运行的权限和动态规则

//master节点
cd pv/
mkdir sc
cd sc/
unzip nfs-client.zip 

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

创建网络插件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

7.3 创建 StorageClass,负责建立 PVC 并调用 NFS provisioner 进行预定的工作,并让 PV 与 PVC 建立关联

cd /etc/kubernetes/manifests/
vim kube-apiserver.yaml - --feature-gates=RemoveSelfLink=false

在这里插入图片描述

vim pvc.yamlapiVersion: v1
kind: PersistentVolumeClaim
metadata:name: mypvc01-nfs
spec:accessModes:- ReadWriteManyresources:requests:storage: 2GistorageClassName: nfs-client-storageclass

在这里插入图片描述

7.4 挂载共享卷,并且进行共享目录写入测试

vim pod-demo.yamlapiVersion: v1
kind: Pod
metadata:labels:run: myapp-demo1name: myapp-demo1
spec:volumes:- name: test-volpersistentVolumeClaim:claimName: mypvc01-nfscontainers:- image: soscscs/myapp:v1name: myapp-demo1ports:- containerPort: 80volumeMounts:- name: test-volmountPath: /data/

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

cp pvc.yaml pvc1.yaml
vim pvc1.yamlapiVersion: v1
kind: PersistentVolumeClaim
metadata:name: mypvc02-nfs
spec:accessModes:- ReadOnlyManyresources:requests:storage: 2GistorageClassName: nfs-client-storageclass

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

八、 总结

k8s 存储卷 volumes

  • emptyDir :可实现Pod中的容器之间共享目录数据,但emptyDir存储卷没有持久化数据的能力,存储卷会随着Pod生命周期结束而一起删除
  • hostPath :将Node节点上的目录/文件挂载到容器的指定目录中,有持久化数据的能力,但只能在单个Node节点上持久化数据,不能实现跨节点的Pod共享数据
  • nfs :使用NFS服务将存储设备的共享目录挂载到容器的指定目录中,有持久化数据的能力,且也能实现跨节点的Pod共享数据

PV PVC
PV :K8S在指定的存储设备空间中逻辑划分创建的可持久化的存储资源对象
PVC :是对PV资源对象的请求和绑定,也是一致Pod可挂载的存储卷类型

PV的状态 4 种

  • Available(可用):表示可用状态,还未被任何 PVC 绑定
  • Bound(已绑定):表示 PV 已经绑定到 PVC
  • Released(已释放):表示 PVC 被删掉,但是资源尚未被回收
  • Failed(失败):表示该 PV 的自动回收失败

创建和使用 静态PV
1)准备好存储设备和共享目录
2)手动创建PV资源,配置 存储卷类型 访问模式(RWO RWX ROX) 存储能力大小
3)创建PVC资源,配置请求PV资源的问模式(必要条件,必须是PV能支持的访问模式)和存储大小(就近选择大于等于指定大小的PV)来绑定PV(一个PV只能绑定一个PVC)
4)创建Pod资源挂载PVC存储卷,配置存储卷类型为 persistentVolumeClaim ,在容器配置中定义存储卷的挂载点

创建和使用 动态PV
1)准备好存储设备和共享目录
2)如果是外置存储卷插件,需要先创建service account账户(Pod应用使用的账户)和RBAC授权(创建角色授予相应资源对象的操作权限,角色与账户绑定),使得 sa 账户具有对PV PVC SC等资源的操作权限
3)创建外置存储卷插件Provisioner的Pod,配置中使用sa账户作为Pod账户,并设置相关环境变量参数
4)创建SC资源(StorageClass),配置中引用之前定义的Provisioner的名称

-------------- 以上过程是一劳永逸的,以后只需要创建PVC时引用StorageClass就可以动态生成相关PV资源 ---------------
5)创建PVC资源,配置中引用StorageClass资源名称。创建PVC资源后会自动创建相关的PV资源。
6)创建Pod资源挂载PVC存储卷,配置存储卷类型为 persistentVolumeClaim ,在容器配置中定义存储卷的挂载点

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/52405.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

阿里云“通义千问”开源,可免费商用

我是卢松松,点点上面的头像,欢迎关注我哦! 阿里云成为国内首个加入大模型开源行列的大型科技企业。就在昨天,阿里云公开表态,把自家的通义千问大模型开源。 阿里云把通用70亿参数模型,包括Qwen-7B和对话模…

PSO粒子群优化算法

PSO粒子群优化算法 算法思想matlab代码python代码 算法思想 粒子群算法(Particle Swarm Optimization) 优点: 1)原理比较简单,实现容易,参数少。 缺点: 1)易早熟收敛至局部最优、迭代后期收敛速度慢的…

软件安全测试和渗透测试的区别在哪?安全测试报告有什么作用?

软件安全测试和渗透测试在软件开发过程中扮演着不同的角色,同时也有不同的特点和目标。了解这些区别对于软件开发和测试人员来说非常重要。本文将介绍软件安全测试和渗透测试的区别,以及安全测试报告在软件开发和测试过程中的作用。 一、 软件安全测试和…

SQL-每日一题【1174. 即时食物配送 II】

题目 配送表: Delivery 如果顾客期望的配送日期和下单日期相同,则该订单称为 「即时订单」,否则称为「计划订单」。 「首次订单」是顾客最早创建的订单。我们保证一个顾客只会有一个「首次订单」。 写一条 SQL 查询语句获取即时订单在所有用户的首次订…

网络安全 Day26-PHP 简单学习

PHP 简单学习 1. 为什么要学习PHP2. PHP语法3. php 变量4. 字符串数据5. PHP 函数6. 数组 1. 为什么要学习PHP php存量多开源软件多很多安全流程 渗透方法 sql注入基于PHP语言入门简单 2. PHP语法 格式: <?php 内容?>或<?内容?>结尾分号例子<?php phpin…

使用curl和postman调用Azure OpenAI Restful API

使用curl在cmd中调用时&#xff0c;注意&#xff1a;json大括号内的每一个双引号前需要加上\ curl https://xxxopenai.openai.azure.com/openai/deployments/Your_deployid/chat/completions?api-version2023-05-15 -H "Content-Type: application/json" -H "…

使用docker安装wordpress详细教程及出现数据库无法连接问题解决方法

1.获取wordpress镜像 docker pull wordpress 2.创建wordpress 的容器 a.创建wordpress的文件镜像卷文件夹 mkdir wordpress b.创建wordpress镜像 docker run --name wp -p8080:80 -v /home/wordpress/:/var/www/html -d wordpress c.查看容器运行情况 3.在本地或者其他服务器创…

明白均线信号的投资者就知道如何交易

在Forexclub上的交易的投资者&#xff0c;都在使用5、25和50周期的均线来分析收盘价。其中&#xff0c;5周期的均线为红色&#xff0c;25和50周期的均线为黄色。同时使用抛物面SAR指标&#xff0c;保留其默认参数。 开立多头头寸的条件是&#xff1a;5周期的红色均线从下方突破…

re学习(27)攻防世界toddler_regs(字符串函数总结+交叉引用)

找不到main&#xff08;&#xff09;函数&#xff0c;查找字符串&#xff0c;发现特殊字符串 定位字符串出现的位置&#xff0c;反汇编出代码&#xff0c;进行分析“ flag{Xp0int_1s_n1c3_but_Xp0intJNU_is_we1rd} 总结 一.CP&#xff1a;shiftF12 展示所有的字符串; ctrlx查…

遇到多人协作,我们该用git如何应对?(版本二)

一、多人协作二 1.1多人协作 一般情况下&#xff0c;如果有多需求需要多人同时进行开发&#xff0c;是不会在一个分支上进行多人开发&#xff0c;而是一个需求或一个功能点就要创建一个feature 分支。 现在同时有两个需求需要你和你的小伙伴进行开发&#xff0c;那么你们俩便…

接口测试前置基础学习

网址结构&#xff08;面试重点&#xff09; 网址就是浏览器请求的地址。 网址组成&#xff1a;&#xff08;6个部分&#xff09; 1 协议http协议&#xff0c;超文本传输协议&#xff0c;https协议&#xff0c;s表示ssl加密。传输更安全。 2 域名&#xff1a;就是ip地址。从…

爬虫---练习源码

选取的是网上对一些球员的评价&#xff0c;来评选谁更加伟大一点 import csv import requests import re import timedef main(page):url fhttps://tieba.baidu.com/p/7882177660?pn{page}headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/53…