Spinnaker多云持续交付平台: 部署Minio存储服务

目录

 一、实验

1.环境

2.K8S storage节点部署NFS

3.K8S 动态创建PV

4.K8S master节点部署HELM3

4.K8S master节点部署Minio存储服务（第一种方式安装）

5.Minio客户端安装MC命令

6.K8S master节点使用Docker 部署Minio存储服务（第二种方式安装）

二、问题

1.K8S无法删除pv，pvc问题

2.minio 部署模式有哪些

3.pod Readiness探针与Liveness探针失败

4. 添加 MinIO服务失败

5.docker创建容器失败

6.K8S如何快速创建Minio存储

 一、实验

1.环境

（1）主机

表1  主机

主机架构版本IP备注
master1K8S master节点1.20.6192.168.204.180

node1K8S node节点1.20.6192.168.204.181
node2K8S node节点1.20.6192.168.204.182
stor01

nfs存储节点

192.168.204.177

（2）查看集群状态

2.K8S storage节点部署NFS

（1）安装配置nfs服务

#在stor01(192.168.204.183)节点上安装nfs，并配置nfs服务
mkdir /opt/k8s
chmod 777 /opt/k8s/yum -y install nfs-utils rpcbind#给204网段用户赋予读写权限、同步内容、不压缩共享对象root用户权限
vim /etc/exports
/opt/k8s 192.168.204.0/24(rw,sync,no_root_squash)#首次安装 
systemctl  start  rpcbind nfs#非首次安装
systemctl  restart rpcbind
systemctl restart nfs#监听服务
ss -antp | grep rpcbind#查看共享
exportfs  -arv showmount  -e#所有节点配置hosts映射，或者配置DNS解析
echo '192.168.204.177 stor01' >> /etc/hosts

在stor01(192.168.204.177)节点上安装nfs，并配置nfs服务

安装

配置文件

重启服务

监听服务

查看共享目录

（2）查看域名

vim /etc/hosts

3.K8S 动态创建PV

(1) 创建 Service Account，用来管理 NFS-Subdir-External-Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则

编写资源清单文件

vim nfs-rbac.yamlapiVersion: v1
kind: ServiceAccount
metadata:name: nfs-client-provisionernamespace: default # 替换成你要部署的 Namespace
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: nfs-client-provisioner-runner
rules:- apiGroups: [""]resources: ["persistentvolumes"]verbs: ["get", "list", "watch", "create", "delete"]- apiGroups: [""]resources: ["persistentvolumeclaims"]verbs: ["get", "list", "watch", "update"]- apiGroups: ["storage.k8s.io"]resources: ["storageclasses"]verbs: ["get", "list", "watch"]- apiGroups: [""]resources: ["events"]verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: run-nfs-client-provisioner
subjects:- kind: ServiceAccountname: nfs-client-provisionernamespace: default
roleRef:kind: ClusterRolename: nfs-client-provisioner-runnerapiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: leader-locking-nfs-client-provisionernamespace: default
rules:- apiGroups: [""]resources: ["endpoints"]verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: leader-locking-nfs-client-provisionernamespace: default
subjects:- kind: ServiceAccountname: nfs-client-provisionernamespace: default
roleRef:kind: Rolename: leader-locking-nfs-client-provisionerapiGroup: rbac.authorization.k8s.io

生成资源

kubectl apply -f nfs-rbac.yaml

再次查看sa

kubectl get sa

（3）使用 Deployment 来部署 NFS-Subdir-External-Provisioner

NFS Provisione(即 nfs-client)，有两个功能：一个是在 NFS 共享目录下创建挂载点(volume)，另一个则是将 PV 与 NFS 的挂载点建立关联。

vim  nfs-provisioner-deploy.yaml


apiVersion: apps/v1
kind: Deployment
metadata:name: nfs-client-provisionerlabels:app: nfs-client-provisioner
spec:replicas: 1strategy:type: Recreate                   ## 设置升级策略为删除再创建(默认为滚动更新)selector:matchLabels:app: nfs-client-provisionertemplate:metadata:labels:app: nfs-client-provisionerspec:serviceAccountName: nfs-client-provisionercontainers:- name: nfs-client-provisioner#image: gcr.io/k8s-staging-sig-storage/nfs-subdir-external-provisioner:v4.0.0image: registry.cn-beijing.aliyuncs.com/xngczl/nfs-subdir-external-provisione:v4.0.0volumeMounts:- name: nfs-client-rootmountPath: /persistentvolumesenv:- name: PROVISIONER_NAME     ## Provisioner的名称,以后设置的storageclass要和这个保持一致value: nfs-client- name: NFS_SERVER           ## NFS服务器地址,需和valumes参数中配置的保持一致value: stor01- name: NFS_PATH             ## NFS服务器数据存储目录,需和valumes参数中配置的保持一致value: /opt/k8svolumes:- name: nfs-client-rootnfs:server: stor01             ## NFS服务器地址path: /opt/k8s            ## NFS服务器数据存储目录

kubectl apply -f nfs-provisioner-deploy.yaml

（5）创建 StorageClass，负责建立 PVC 并调用 NFS-Subdir-External-Provisioner进行预定的工作，并让 PV 与 PVC 建立关联，声明 NFS 动态卷提供者名称为 “nfs-storage”。

vim nfs-storage.yamlapiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: nfs-storageannotations:storageclass.kubernetes.io/is-default-class: "false"  ## 是否设置为默认的storageclass
provisioner: nfs-client                                   ## 动态卷分配者名称，必须和上面创建的"provisioner"变量中设置的Name一致
parameters:archiveOnDelete: "true"                                 ## 设置为"false"时删除PVC不会保留数据,"true"则保留数据
mountOptions:- hard                                                  ## 指定为硬挂载方式- nfsvers=4                                             ## 指定NFS版本,这个需要根据NFS Server版本号设置



kubectl apply -f nfs-storage.yaml

4.K8S master节点部署HELM3

（1）Helm版本与K8S集群兼容

Helm | Helm版本支持策略

ee70de7fccd441c2866678f1b28ca9da.png

（2）查看K8S集群状态

# kubectl get node

（3）策略

当前K8S 集群为1.20.6版本，选择HELM 3.8.1 版本。

（4）部署


1）安装 helm 
//下载二进制 Helm client 安装包
wget https://get.helm.sh/helm-v3.8.1-linux-amd64.tar.gztar -zxvf helm-v3.8.1-linux-amd64.tar.gz
mv linux-amd64/helm /usr/local/bin/helm
helm version//命令补全
source <(helm completion bash)2）使用 helm 安装 Chart
//添加常用的 chart 仓库，
helm repo add bitnami https://charts.bitnami.com/bitnami
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts3) 更新 charts 列表
helm repo update
helm repo list

安装

使用 helm 安装 Chart

4.K8S master节点部署Minio存储服务（第一种方式安装）

（1）Minio官方文档

minio 13.4.2 · bitnami/bitnami (artifacthub.io)

（2）获取最新minio charts

1)查询 minio 资源
helm search repo minio2)创建目录
mkdir -p /root/minio/ && cd /root/minio/3)拉取 chart 到本地目录
第一种方式：
helm fetch bitnami/minio --version 13.3.3
第二种方式
helm pull bitnami/minio --version 13.3.3 4)解压
tar -zxvf minio-13.3.3.tgz
cp minio/values.yaml ./values-test.yaml5）查看当前目录层级
tree -L 2
.
├── minio
│   ├── Chart.lock
│   ├── charts
│   ├── Chart.yaml
│   ├── README.md
│   ├── templates
│   └── values.yaml
├── minio-13.3.3.tgz
└── values-test.yaml

查询

拉取解压

查看目录

（3）查看集群 storageclasses

kubectl get storageclasses.storage.k8s.io

（4）修改配置文件

vim values-test.yaml

(5)安装minio集群

helm install minio minio -f values-test.yaml-n 指定 kubernetes 集群名称空间
-f 指定使用的配置文件，文件中定义的配置可以覆盖 minio/values.yaml 文件中配置NAME: minio
LAST DEPLOYED: Thu Feb  8 09:03:41 2024
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: minio
CHART VERSION: 13.3.3
APP VERSION: 2024.1.31** Please be patient while the chart is being deployed **MinIO&reg; can be accessed via port  on the following DNS name from within your cluster:minio.default.svc.cluster.localTo get your credentials run:export ROOT_USER=$(kubectl get secret --namespace default minio -o jsonpath="{.data.root-user}" | base64 -d)export ROOT_PASSWORD=$(kubectl get secret --namespace default minio -o jsonpath="{.data.root-password}" | base64 -d)To connect to your MinIO&reg; server using a client:- Run a MinIO&reg; Client pod and append the desired command (e.g. 'admin info'):kubectl run --namespace default minio-client \--rm --tty -i --restart='Never' \--env MINIO_SERVER_ROOT_USER=$ROOT_USER \--env MINIO_SERVER_ROOT_PASSWORD=$ROOT_PASSWORD \--env MINIO_SERVER_HOST=minio \--image docker.io/bitnami/minio-client:2024.1.31-debian-11-r1 -- admin info minioTo access the MinIO&reg; web UI:- Get the MinIO&reg; URL:echo "MinIO&reg; web URL: http://127.0.0.1:9001/minio"kubectl port-forward --namespace default svc/minio 9001:9001

(6) 查看

helm listkubectl get deploykubectl get podkubectl get pod -o wide

(7) 查看pv与pvc

kubectl get pvkubectl get pvc

（8）NFS 查看卷

ls

ls | grep minio

5.Minio客户端安装MC命令

（1）下载

wget https://dl.min.io/client/mc/release/linux-amd64/mc

（2）安装

chmod a+x mcmv mc /usr/local/bin/mc --version

(3) 配置访问minio

mc config host add minio http://10.99.219.173:9000 minio minio123 --api S3v4# 查看配置，不同 mc 版本，以下内容输出可能不一定完全相同
mc config host listgcs  URL       : https://storage.googleapis.comAccessKey : YOUR-ACCESS-KEY-HERESecretKey : YOUR-SECRET-KEY-HEREAPI       : S3v2Path      : dnslocalURL       : http://localhost:9000AccessKey : SecretKey : API       : Path      : autominioURL       : http://10.99.219.173:9000AccessKey : minioSecretKey : minio123API       : S3v4Path      : autoplay URL       : https://play.min.ioAccessKey : Q3AM3UQ867SPQQA43P2FSecretKey : zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TGAPI       : S3v4Path      : autos3   URL       : https://s3.amazonaws.comAccessKey : YOUR-ACCESS-KEY-HERESecretKey : YOUR-SECRET-KEY-HEREAPI       : S3v4Path      : dns

6.K8S master节点使用Docker 部署Minio存储服务（第二种方式安装）

（1）docker 命令去安装稳定版本的 minio

docker pull minio/minio

（2）创建存放数据的目录

# 一个用来存放配置，一个用来存储上传文件的目录
# 启动前需要先创建Minio外部挂载的配置文件（ /rootconfig）,和存储上传文件的目录（ /root/data）mkdir -p /root/datamkdir -p /root/config

(3) 创建Minio容器并运行（多行模式）

# 9090端口指的是minio的客户端端口
# MINIO_ACCESS_KEY ：账号
# MINIO_SECRET_KEY ：密码（账号长度必须大于等于5，密码长度必须大于等于8位）docker run -p 9000:9000 -p 9090:9090 \--net=host \--name minio \-d --restart=always \-e "MINIO_ACCESS_KEY=minioadmin" \-e "MINIO_SECRET_KEY=minioadmin" \-v /root/data:/data \-v /root/config:/root/.minio \minio/minio server \/data --console-address ":9090" -address ":9000"

（4）另一种方式创建Minio容器并运行（单行模式）

docker run -p 9000:9000 -p 9090:9090      --net=host      --name minio      -d --restart=always      -e "MINIO_ACCESS_KEY=minioadmin"      -e "MINIO_SECRET_KEY=minioadmin"      -v /root/data:/data      -v /root/config:/root/.minio      minio/minio server      /data --console-address ":9090" -address ":9000"

（5）查看docker进程

docker ps | grep minio

（6）登录

http://192.168.204.180:9090/login

进入系统

（7）创建用户

填写信息

（8）完成创建

（9）创建组

(10)创建accessKey和secretKey 

查看

（11）创建Bucket

查看

（12）上传文件

查看

二、问题

1.K8S无法删除pv，pvc问题

（1）报错

error: resource(s) were provided, but no name was specified

（2）原因分析

删除顺序不对。

（3）解决方法

正确的删除顺序：1）先删除pod
helm -n devops uninstall minio(项目名称) 2）解除pv绑定
kubectl patch pv pvname(pv名称) -p '{"metadata":{"finalizers":null}}'3）解除pvc绑定
kubectl patch pvc pvcname(pvc名称) -p '{"metadata":{"finalizers":null}}'4) 删除pv
kubectl delete pv pvname(pv名称) -n devops5) 删除pvc
kubectl delete pvc pvname(pvc名称) -n devops

2.minio 部署模式有哪些

（1）模式

1）standalone
独立模式下，服务部署数量为1个3）distributed
分别模式下，服务部署数量，必须大于4个

（2）standalone模式

 

创建（服务部署数量为1个）

（3）distributed模式

创建 （服务部署数量为4个）

 

3.pod Readiness探针与Liveness探针失败

(1)报错

通过yaml文件创建pod时，执行完yaml文件，过一会就开始报错说Back-off restarting failed container。

查看pod状态一致处于CrashLoopBackOff

kubectl get pod

kubectl describe pod minio-9c678d65c-45js9

（2）原因分析

Back-off restarting failed container的Warning事件，一般是由于通过指定的镜像启动容器后，容器内部没有常驻进程，导致容器启动成功后即退出，从而进行了持续的重启。

（3）解决方法

如果是通过yaml文件创建的pod，找到对应的deployment，增加命令command: ["/bin/bash", "-ce", "tail -f /dev/null"]
kubectl edit deploy

4. 添加 MinIO服务失败

（1）报错

（2）原因分析

端口不能漏，–api不能漏

（3）解决方法

连接

mc config host add minio http://10.99.219.173:9000 minio minio123 --api S3v4

如需删除

mc config host remove minio

5.docker创建容器失败

（1）报错

（2）原因分析

容器名称重复

（3）解决方法

查看

docker ps -a

删除

docker rm -f a17f4299e7bd

成功：

docker run -p 9000:9000 --name minio -v /root/data:/data -v /root/config:/root/.minio minio/minio server /data

6.K8S如何快速创建Minio存储

（1）官方文档

MinIO Object Storage for Kubernetes — MinIO Object Storage for Kubernetes

（2）下载 MinIO 对象

curl https://raw.githubusercontent.com/minio/docs/master/source/extra/examples/minio-dev.yaml -O

（3）应用 MinIO 对象定义

kubectl apply -f minio-dev.yaml

命令输出应如下所示：

namespace/minio-dev created
pod/minio created

（4）验证 Pod 的状态

kubectl get pods -n minio-dev

（5）检索有关 Pod 状态的详细信息

kubectl describe pod/minio -n minio-devkubectl logs pod/minio -n minio-dev

（6）临时访问 MinIO S3 API 和控制台

使用以下命令将流量从 MinIO Pod 临时转发到本地计算机

#该命令在 shell 中处于活动状态时，将 pod 端口转发到本地计算机上的匹配端口。 该命令仅在 shell 会话中处于活动状态时起作用。 终止会话将关闭本地计算机上的端口。#要配置对 Pod 的长期访问，需要在 Kubernetes 中配置 Ingress 或类似的网络控制组件，以路由进出 Pod 的流量。kubectl port-forward pod/minio 9000 9090 -n minio-dev

（7）浏览器连接到 MinIO 服务器

通过在本地计算机上打开浏览器并导航到 来访问 MinIO 控制台。http://127.0.0.1:9001使用凭据 登录控制台。 这些是默认的 root 用户凭证。minioadmin | minioadmin

（8）连接 MinIO 客户端

如果本地计算机已安装mc，请使用以下命令进行身份验证并连接到 MinIO 部署

mc alias set k8s-minio-dev http://127.0.0.1:9000 minioadmin minioadmin
mc admin info k8s-minio-dev

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/460290.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

零基础学Python之整合MySQL

零基础学Python之整合MySQL

Python 标准数据库接口为 Python DB-API&#xff0c;Python DB-API为开发人员提供了数据库应用编程接口。 不同的数据库你需要下载不同的DB API模块&#xff0c;例如你需要访问Oracle数据库和Mysql数据&#xff0c;你需要下载Oracle和MySQL数据库模块。 DB-API 是一个规范. 它…
阅读更多...
DevOps：CI、CD、CB、CT、CD

DevOps：CI、CD、CB、CT、CD

目录 一、软件开发流程演化快速回顾 &#xff08;一&#xff09;瀑布模型 &#xff08;二&#xff09;原型模型 &#xff08;三&#xff09;螺旋模型 &#xff08;四&#xff09;增量模型 &#xff08;五&#xff09;敏捷开发 &#xff08;六&#xff09;DevOps 二、走…
阅读更多...
2023年智能可穿戴行业市场分析（电商数据查询分析）：智能手表销额增长21%，手环明显下滑

2023年智能可穿戴行业市场分析（电商数据查询分析）：智能手表销额增长21%，手环明显下滑

近年来&#xff0c;随着技术的进步&#xff0c;智能可穿戴设备在社交网络、医疗保健、导航等诸多领域有着非常广泛的应用&#xff0c;这为大众生活带来了诸多便利。 当前的可穿戴产品形态纷繁多样&#xff0c;主要包括智能手表、智能眼镜、智能手环、健康穿戴和体感控制等等&am…
阅读更多...
docker 基于容器创建本地web容器化镜像

docker 基于容器创建本地web容器化镜像

一、docker 基于容器创建本地web容器化镜像 1、启动指定buysbox 镜像 docker run --name b1 -it busybox:latest 2、创建目录&#xff0c;并创建html mkdir -p /data/html vi index.html 内容自定义例如&#xff1a;<h1>welcome to busybox<h1> 3、新增窗口&am…
阅读更多...
国产数据库 GBase 8a 安装

国产数据库 GBase 8a 安装

一、GBase简介 GBase 是南大通用数据技术有限公司推出的自主品牌的数据库产品&#xff0c;在国内数据库市场具有较高的品牌知名度。 二、下载地址&#xff08;需要先注册账号&#xff09; https://www.gbase.cn/download/gbase-8a?categoryINSTALL_PACKAGE 三、环境 服务…
阅读更多...
unity-ios-解决内购商品在Appstore上面已配置，但在手机测试时却无法显示的问题

unity-ios-解决内购商品在Appstore上面已配置，但在手机测试时却无法显示的问题

自己这几天用 unity 2021 xcode 14.2 开发ios内购&#xff0c;appstore上面内购商品都已经配置好了&#xff0c;但是在手机里就是不显示&#xff0c;最后才发现必需得满足以下条件才行&#xff1a; 1. Appstore后台 -> 内购商品 -> 商品状态必需为『准备提交』以上状态…
阅读更多...
Java 学习和实践笔记（2）

Java 学习和实践笔记（2）

今天的学习进度&#xff1a; 注册并下载安装好了Java 8&#xff0c;之后进行以下配置。 1&#xff09;path 是一个常见的环境变量&#xff0c;它告诉系统除了在当前的目标下妹寻找此程序外&#xff0c;还可以到path指定的目录下找。这句话是什么意思呢&#xff1f;以下举报例…
阅读更多...
网络套件字（理论知识）

网络套件字（理论知识）

一、源IP地址和目的IP地址 上次说到IP地址是为了是为了让信息正确的从原主机传送到目的主机&#xff0c;而原IP地址和目的IP地址就是用于标识两个主机的&#xff0c;既然叫做地址必然有着路径规划的作用&#xff0c;而路径规划最重要的就是&#xff0c;从哪来到哪去&#xff0…
阅读更多...
Hadoop搭建（完全分布式）

Hadoop搭建（完全分布式）

节点分布&#xff1a; bigdata-masterbigdata-slave1bigdata-salve2 NameNode NodeManager NodeManager SecondaryNameNodeDataNodeDataNodeResourceManagerNodeManagerDataNode 目录 一、jdk安装&#xff1a; 二、hadoop安装 一、jdk安装&#xff1a; jdk-8u212链接&am…
阅读更多...
Spring IoC容器（四）容器、环境配置及附加功能

Spring IoC容器（四）容器、环境配置及附加功能

本文内容包括容器的Bean 及 Configuration 注解的使用、容器环境的配置文件及容器的附加功能&#xff08;包括国际化消息、事件发布与监听&#xff09;。 1 容器配置 在注解模式下&#xff0c;Configuration 是容器核心的注解之一&#xff0c;可以在其注解的类中通过Bean作用…
阅读更多...
vulhub中Apache APISIX 默认密钥漏洞复现（CVE-2020-13945）

vulhub中Apache APISIX 默认密钥漏洞复现（CVE-2020-13945）

Apache APISIX是一个高性能API网关。在用户未指定管理员Token或使用了默认配置文件的情况下&#xff0c;Apache APISIX将使用默认的管理员Token edd1c9f034335f136f87ad84b625c8f1&#xff0c;攻击者利用这个Token可以访问到管理员接口&#xff0c;进而通过script参数来插入任意…
阅读更多...
Mountain Lake - Forest Pack

Mountain Lake - Forest Pack

从头开始构建的50个岩石森林资源集合，充分利用了HDRP。还支持Universal 和Built-In。 支持Unity 2020.3+、高清渲染管线、通用渲染管线、标准渲染管线。导入包后，按照README中的说明进行操作。 Mountain Lake - Rock & Tree Pack是一个由50个准备好的资源组成的集合，从头…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023