【Distributed】分布式Ceph存储系统之相关应用

文章目录

  • 一、创建 CephFS 文件系统 MDS 接口
    • 1. 服务端操作
      • 1.1 在管理节点创建 mds 服务
      • 1.2 查看各个节点的 mds 服务
      • 1.3 创建存储池，启用 ceph 文件系统
      • 1.4 查看mds状态
      • 1.5 创建用户
    • 2. 客户端操作
      • 2.1 客户端要在 public 网络内
      • 2.2 在客户端创建工作目录
      • 2.3 在 ceph 的管理节点给客户端拷贝文件
      • 2.4 在客户端安装 ceph 软件包
      • 2.5 在客户端制作秘钥文件
      • 2.6 客户端挂载
        • 方式一：基于内核
        • 方式二：基于 fuse 工具
  • 二、创建 Ceph 块存储系统 RBD 接口
    • 1. 创建一个名为 rbd-demo 的专门用于 RBD 的存储池
    • 2. 将存储池转换为 RBD 模式
    • 3. 初始化存储池
    • 4. 创建镜像
    • 5. 镜像管理
      • 5.1 查看镜像的详细信息
      • 5.2 修改镜像大小
      • 5.3 删除镜像
    • 6. Linux客户端使用
      • 6.1 管理节点操作
      • 6.2 linux客户端操作
    • 7. 快照管理
      • 7.1 在客户端写入文件
      • 7.2 在管理节点对镜像创建快照
      • 7.3 列出指定镜像所有快照
      • 7.4 回滚镜像到指定
      • 7.5 限制镜像可创建快照数
      • 7.6 删除快照
      • 7.7 快照分层
      • 7.8 快照展平
    • 8. 镜像的导出导入
      • 8.1 导出镜像
      • 8.2 导入镜像
  • 三、创建 Ceph 对象存储系统 RGW 接口
  • 四、OSD 故障模拟与恢复
    • 1. 模拟 OSD 故障
    • 2. 将坏掉的 osd 踢出集群
      • 方法一
      • 方法二
    • 3. 把原来坏掉的 osd 修复后重新加入集群

一、创建 CephFS 文件系统 MDS 接口

1. 服务端操作

1.1 在管理节点创建 mds 服务

cd /etc/ceph
ceph-deploy mds create node01 node02 node03

在这里插入图片描述

1.2 查看各个节点的 mds 服务

ssh root@node01 systemctl status ceph-mds@node01
ssh root@node02 systemctl status ceph-mds@node02
ssh root@node03 systemctl status ceph-mds@node03

在这里插入图片描述

1.3 创建存储池，启用 ceph 文件系统

  ceph 文件系统至少需要两个 rados 池，一个用于存储数据，一个用于存储元数据。此时数据池就类似于文件系统的共享目录。

ceph osd pool create cephfs_data 128					#创建数据Pool
ceph osd pool create cephfs_metadata 128				#创建元数据Pool

在这里插入图片描述

#创建 cephfs，命令格式：ceph fs new <FS_NAME> <CEPHFS_METADATA_NAME> <CEPHFS_DATA_NAME>
ceph fs new mycephfs cephfs_metadata cephfs_data		#启用ceph，元数据Pool在前，数据Pool在后ceph fs ls					#查看cephfs

在这里插入图片描述

1.4 查看mds状态

  一个up，其余两个待命，目前的工作的是node01上的mds服务

ceph -s
mds: mycephfs:1 {0=node01=up:active} 2 up:standbyceph mds stat
mycephfs:1 {0=node01=up:active} 2 up:standby

在这里插入图片描述

1.5 创建用户

语法格式：ceph fs authorize  <fs_name>  client.<client_id>  <path-in-cephfs>  rw

#账户为 client.zhangsan，用户 name 为 zhangsan，zhangsan 对ceph文件系统的 / 根目录（注意不是操作系统的根目录）有读写权限
ceph fs authorize mycephfs client.zhangsan / rw | tee /etc/ceph/zhangsan.keyring# 账户为 client.lisi，用户 name 为 lisi，lisi 对文件系统的 / 根目录只有读权限，对文件系统的根目录的子目录 /test 有读写权限
ceph fs authorize mycephfs client.lisi / r /test rw | tee /etc/ceph/lisi.keyring

在这里插入图片描述

2. 客户端操作

2.1 客户端要在 public 网络内

2.2 在客户端创建工作目录

mkdir /etc/ceph

在这里插入图片描述

2.3 在 ceph 的管理节点给客户端拷贝文件

#拷贝的文件分别是 ceph 的配置文件 ceph.conf 和账号的秘钥环文件 zhangsan.keyring、lisi.keyring
scp ceph.conf zhangsan.keyring lisi.keyring root@client:/etc/ceph

在这里插入图片描述

2.4 在客户端安装 ceph 软件包

cd /opt
wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate
rpm -ivh ceph-release-1-1.el7.noarch.rpm
yum install -y ceph

在这里插入图片描述

2.5 在客户端制作秘钥文件

cd /etc/ceph
ceph-authtool -n client.zhangsan -p zhangsan.keyring > zhangsan.key			#把 zhangsan 用户的秘钥导出到 zhangsan.keyl
ceph-authtool -n client.lisi -p lisi.keyring > lisi.key						#把 lisi 用户的秘钥导出到 lisi.key

在这里插入图片描述

2.6 客户端挂载

方式一：基于内核

语法格式：
mount -t ceph node01:6789,node02:6789,node03:6789:/  <本地挂载点目录>  -o name=<用户名>,secret=<秘钥>
mount -t ceph node01:6789,node02:6789,node03:6789:/  <本地挂载点目录>  -o name=<用户名>,secretfile=<秘钥文件>

示例一：
mkdir -p /data/zhangsan
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/zhangsan -o name=zhangsan,secretfile=/etc/ceph/zhangsan.key示例二：
mkdir -p /data/lisi
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/lisi -o name=lisi,secretfile=/etc/ceph/lisi.key

在这里插入图片描述

#验证用户权限
cd /data/lisi
echo 123 > 2.txt
-bash：2.txt：权限不够echo 123 > test/2.txt
cat test/2.txt
123

在这里插入图片描述

示例三：
#停掉 node02 上的 mds 服务
ssh root@node02 "systemctl stop ceph-mds@node02"ceph -s#测试客户端的挂载点仍然是可以用的，如果停掉所有的 mds，客户端就不能用了

方式二：基于 fuse 工具

#在 ceph 的管理节点给客户端拷贝 ceph 的配置文件 ceph.conf 和账号的秘钥环文件 zhangsan.keyring、lisi.keyring
scp ceph.client.admin.keyring root@client:/etc/ceph

在这里插入图片描述

#在客户端安装 ceph-fuse
yum install -y ceph-fuse

在这里插入图片描述

#客户端挂载
cd /data/aa
ceph-fuse -m node01:6789,node02:6789,node03:6789 /data/aa [-o nonempty]			#挂载时，如果挂载点不为空会挂载失败，指定 -o nonempty 可以忽略

在这里插入图片描述

二、创建 Ceph 块存储系统 RBD 接口

1. 创建一个名为 rbd-demo 的专门用于 RBD 的存储池

ceph osd pool create rbd-demo 64 64

在这里插入图片描述

2. 将存储池转换为 RBD 模式

ceph osd pool application enable rbd-demo rbd

在这里插入图片描述

3. 初始化存储池

rbd pool init -p rbd-demo			# -p 等同于 --pool

在这里插入图片描述

4. 创建镜像

rbd create -p rbd-demo --image rbd-demo1.img --size 10G可简写为：
rbd create rbd-demo/rbd-demo2.img --size 10G

在这里插入图片描述

5. 镜像管理

#查看存储池下存在哪些镜像
rbd ls -l -p rbd-demo

在这里插入图片描述

5.1 查看镜像的详细信息

rbd info -p rbd-demo --image rbd-demo1.img
rbd image 'rbd-demo.img':size 10 GiB in 2560 objects							#镜像的大小与被分割成的条带数order 22 (4 MiB objects)							#条带的编号，有效范围是12到25，对应4K到32M，而22代表2的22次方，这样刚好是4Msnapshot_count: 0id: 5fc98fe1f304									#镜像的ID标识block_name_prefix: rbd_data.5fc98fe1f304			#名称前缀format: 2											#使用的镜像格式，默认为2features: layering, exclusive-lock, object-map, fast-diff, deep-flatten			#当前镜像的功能特性op_features: 																	#可选的功能特性flags:

在这里插入图片描述

5.2 修改镜像大小

rbd resize -p rbd-demo --image rbd-demo1.img --size 20Grbd info -p rbd-demo --image rbd-demo1.img#使用 resize 调整镜像大小，一般建议只增不减，如果是减少的话需要加选项 --allow-shrink
rbd resize -p rbd-demo --image rbd-demo1.img --size 5G --allow-shrink

在这里插入图片描述

5.3 删除镜像

#直接删除镜像
rbd rm -p rbd-demo --image rbd-demo2.img
rbd remove rbd-demo/rbd-demo2.img#推荐使用 trash 命令，这个命令删除是将镜像移动至回收站，如果想找回还可以恢复
rbd trash move rbd-demo/rbd-demo1.imgrbd ls -l -p rbd-demorbd trash list -p rbd-demo
3879e456ea41 rbd-demo1.img#还原镜像
rbd trash restore rbd-demo/3879e456ea41rbd ls -l -p rbd-demo

在这里插入图片描述

6. Linux客户端使用

  客户端使用 RBD 有两种方式：

  • 通过内核模块KRBD将镜像映射为系统本地块设备，通常设置文件一般为：/dev/rbd*
  • 另一种是通过librbd接口，通常KVM虚拟机使用这种接口。

  本例主要是使用Linux客户端挂载RBD镜像为本地磁盘使用。开始之前需要在所需要客户端节点上面安装 ceph-common 软件包，因为客户端需要调用rbd命令将RBD镜像映射到本地当作一块普通硬盘使用。并还需要把 ceph.conf 配置文件和授权keyring文件复制到对应的节点。

6.1 管理节点操作

#在管理节点创建并授权一个用户可访问指定的 RBD 存储池
#示例，指定用户标识为client.osd-mount，对另对OSD有所有的权限，对Mon有只读的权限
ceph auth get-or-create client.osd-mount osd "allow * pool=rbd-demo" mon "allow r" > /etc/ceph/ceph.client.osd-mount.keyring#修改RBD镜像特性
#CentOS7默认情况下只支持layering和striping特性，需要将其它的特性关闭
rbd feature disable rbd-demo/rbd-demo1.img object-map,fast-diff,deep-flatten#将用户的keyring文件和ceph.conf文件发送到客户端的/etc/ceph目录下
cd /etc/ceph
scp ceph.client.osd-mount.keyring ceph.conf root@client:/etc/ceph

在这里插入图片描述

6.2 linux客户端操作

#安装 ceph-common 软件包
yum install -y ceph-common

在这里插入图片描述

#断开映射
rbd unmap rbd-demo/rbd-demo1.img#执行客户端映射
cd /etc/ceph
rbd map rbd-demo/rbd-demo1.img --keyring /etc/ceph/ceph.client.osd-mount.keyring --user osd-mount#查看映射
rbd showmapped
rbd device list#断开映射
rbd unmap rbd-demo/rbd-demo1.img

在这里插入图片描述

#格式化并挂载
mkfs.xfs /dev/rbd0mkdir -p /data/bb
mount /dev/rbd0 /data/bbdf-hT

在这里插入图片描述

#在线扩容
#在管理节点调整镜像的大小
rbd resize rbd-demo/rbd-demo1.img --size 30G#在客户端刷新设备文件
xfs_growfs /dev/rbd0		#刷新xfs文件系统容量
resize2fs /dev/rbd0			#刷新ext4类型文件系统容量

在这里插入图片描述

7. 快照管理

  对 rbd 镜像进行快照，可以保留镜像的状态历史，另外还可以利用快照的分层技术，通过将快照克隆为新的镜像使用。

7.1 在客户端写入文件

echo 1111 > /data/bb/11.txt
echo 2222 > /data/bb/22.txt
echo 3333 > /data/bb/33.txt

在这里插入图片描述

7.2 在管理节点对镜像创建快照

rbd snap create --pool rbd-demo --image rbd-demo1.img --snap demo1_snap1可简写为：
rbd snap create rbd-demo/rbd-demo1.img@demo1_snap1

在这里插入图片描述

7.3 列出指定镜像所有快照

rbd snap list rbd-demo/rbd-demo1.img#用json格式输出:
rbd snap list rbd-demo/rbd-demo1.img --format json --pretty-format

在这里插入图片描述

7.4 回滚镜像到指定

  在回滚快照之前，需要将镜像取消镜像的映射，然后再回滚。

#在客户端操作
rm -rf /data/bb/*
umount /data/bb
rbd unmap rbd-demo/rbd-demo1.img

在这里插入图片描述

#在管理节点操作
rbd snap rollback rbd-demo/rbd-demo1.img@demo1_snap1

在这里插入图片描述

#在客户端重新映射并挂载
rbd map rbd-demo/rbd-demo1.img --keyring /etc/ceph/ceph.client.osd-mount.keyring --user osd-mount
mount /dev/rbd0 /data/bb
ls /data/bb				#发现数据还原回来了

在这里插入图片描述

7.5 限制镜像可创建快照数

rbd snap limit set rbd-demo/rbd-demo1.img --limit 3#解除限制：
rbd snap limit clear rbd-demo/rbd-demo1.img

在这里插入图片描述

7.6 删除快照

#删除指定快照：
rbd snap rm rbd-demo/rbd-demo1.img@demo1_snap1#删除所有快照：
rbd snap purge rbd-demo/rbd-demo1.img

在这里插入图片描述

7.7 快照分层

  快照分层支持用快照的克隆生成新镜像，这种镜像与直接创建的镜像几乎完全一样，支持镜像的所有操作。唯一不同的是克隆镜像引用了一个只读的上游快照，而且此快照必须要设置保护模式。

#快照克隆
1）将上游快照设置为保护模式：
rbd snap create rbd-demo/rbd-demo1.img@demo1_snap666
rbd snap protect rbd-demo/rbd-demo1.img@demo1_snap666
rbd snap list rbd-demo/rbd-demo1.img2）克隆快照为新的镜像
rbd clone rbd-demo/rbd-demo1.img@demo1_snap666 --dest rbd-demo/rbd-demo666.img
rbd ls -l -p rbd-demo3）命令查看克隆完成后快照的子镜像
rbd children rbd-demo/rbd-demo1.img@demo1_snap666

在这里插入图片描述

7.8 快照展平

通常情况下通过快照克隆而得到的镜像会保留对父快照的引用，这时候不可以删除该父快照，否则会有影响。
rbd snap rm rbd-demo/rbd-demo1.img@demo1_snap666
#报错 snapshot 'demo1_snap666' is protected from removal.如果要删除快照但想保留其子镜像，必须先展平其子镜像，展平的时间取决于镜像的大小
1） 展平子镜像
rbd flatten rbd-demo/rbd-demo666.img2）取消快照保护
rbd snap unprotect rbd-demo/rbd-demo1.img@demo1_snap6663）删除快照
rbd snap rm rbd-demo/rbd-demo1.img@demo1_snap666rbd ls -l -p rbd-demo			#在删除掉快照后，查看子镜像依然存在

在这里插入图片描述

8. 镜像的导出导入

8.1 导出镜像

rbd export rbd-demo/rbd-demo1.img  /opt/rbd-demo1.img

在这里插入图片描述

8.2 导入镜像

#卸载客户端挂载，并取消映射
umount /data/bb
rbd unmap rbd-demo/rbd-demo1.img#清除镜像下的所有快照，并删除镜像
rbd snap purge rbd-demo/rbd-demo1.img
rbd rm rbd-demo/rbd-demo1.imgrbd ls -l -p rbd-demo#导入镜像
rbd import /opt/rbd-demo1.img  rbd-demo/rbd-demo1.imgrbd ls -l -p rbd-demo

在这里插入图片描述

三、创建 Ceph 对象存储系统 RGW 接口

四、OSD 故障模拟与恢复

1. 模拟 OSD 故障

  如果 ceph 集群有上千个 osd，每天坏 2~3 个太正常了，我们可以模拟 down 掉一个 osd

#如果 osd 守护进程正常运行，down 的 osd 会很快自恢复正常，所以需要先关闭守护进程
#在node1节点
ssh root@node01 systemctl stop ceph-osd@0#down 掉 osd，node1节点
ceph osd down 0
#在管理节点
ceph osd tree

在这里插入图片描述

2. 将坏掉的 osd 踢出集群

方法一

#将 osd.0 移出集群，集群会开始自动同步数据
ceph osd out osd.0#将 osd.0 移除 crushmap
ceph osd crush remove osd.0#删除守护进程对应的账户信息
ceph auth rm osd.0ceph auth list#删掉 osd.0
ceph osd rm osd.0ceph osd stat
ceph -s

在这里插入图片描述

方法二

ceph osd out osd.0#使用综合步骤，删除配置文件中针对坏掉的 osd 的配置
ceph osd purge osd.0 --yes-i-really-mean-it

3. 把原来坏掉的 osd 修复后重新加入集群

#在 osd 节点创建 osd，无需指定名，会按序号自动生成
cd /etc/cephceph osd create

在这里插入图片描述

#创建账户，指定操作权限
ceph-authtool --create-keyring /etc/ceph/ceph.osd.0.keyring --gen-key -n osd.0 --cap mon 'allow profile osd' --cap mgr 'allow profile osd' --cap osd 'allow *'#导入新的账户秘钥
ceph auth import -i /etc/ceph/ceph.osd.0.keyringceph auth list#更新对应的 osd 文件夹中的密钥环文件
ceph auth get-or-create osd.0 -o /var/lib/ceph/osd/ceph-0/keyring

请添加图片描述

#加入 crushmap
ceph osd crush add osd.0 1.000 host=node01		#1.000 代表权重#加入集群
ceph osd in osd.0ceph osd tree

请添加图片描述

#重启 osd 守护进程
systemctl restart ceph-osd@0ceph osd tree		#稍等片刻后 osd 状态为 up

请添加图片描述

#如果重启失败
报错：
Job for ceph-osd@0.service failed because start of the service was attempted too often. See "systemctl  status ceph-osd@0.service" and "journalctl -xe" for details.
To force a start use "systemctl reset-failed ceph-osd@0.service" followed by "systemctl start ceph-osd@0.service" again.#运行
systemctl reset-failed ceph-osd@0.service && systemctl restart ceph-osd@0.service

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/27312.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

xml.etree.ElementTree

xml.etree.ElementTree

python使用 xml.etree.ElementTree包的时候&#xff0c;对xml中的空标签进行了简写&#xff0c;想恢复成正常模式怎么弄
阅读更多...
视频配音乐怎么制作？教你简单好用的配乐方法

视频配音乐怎么制作？教你简单好用的配乐方法

在很多情况下&#xff0c;为视频配乐可以增强观众的情感体验&#xff0c;使观众更加投入到视频内容中。配乐可以增强视频的节奏和情感共鸣&#xff0c;使观众更容易理解和接受视频的信息。此外&#xff0c;配乐还可以为视频添加品味和风格&#xff0c;使其更具吸引力。教大家几…
阅读更多...
基于Nginx的web集群项目

基于Nginx的web集群项目

目录 nginx介绍代理集群 安装配置文件http 使用master和worker升级问题 基于域名的虚拟主机隐藏nginx的版本信息供别人下载的网站统计的信息的页面pv介绍 ngixn续nginx认证nginx的allow和denynginx限制并发数nginx限速限速的算法 nginx 限制请求数nginx 的 locationnginx 的 lo…
阅读更多...
图片速览 Deep k-Means: Jointly clustering with k-Means and learning representations

图片速览 Deep k-Means: Jointly clustering with k-Means and learning representations

本文探讨了联合聚类与学习的问题 交涉。正如之前的几项研究表明&#xff0c;学习 既忠实于要聚类和调整的数据的表示形式 到聚类算法可以导致更好的聚类性能&#xff0c;所有的 更重要的是&#xff0c;这两项任务是联合执行的。我们在这里提出这样一个 方法的k-基于连续重新参数…
阅读更多...
阿里云使用SMC进行服务器迁移

阿里云使用SMC进行服务器迁移

操作文档 阿里云SMC适用于所有的可以公网访问的主机 1、资源准备 1、我们必须要要有相关AliyunSMCFullAccess的权限&#xff0c;如果操作RAM账号具有足够的权限可以自动授权 2、我们的源主机要可以公网访问&#xff0c;并且可以ssh且密码登录 2、在控制台点击迁移源 配置我们源…
阅读更多...
机器学习 day28（模型评估）

机器学习 day28（模型评估）

为什么需要模型评估 我们可以借助图像来判断模型是否良好。但当我们用单一特征来绘制f(x)图像时&#xff0c;模型容易出现过拟合现象。但如果增加一些输入特征的种类&#xff0c;绘制图像又会变得很困难。而模型评估可以解决这一痛点。 模型评估 通常我们将数据集的一大半…
阅读更多...
JavaWeb（6）——前端工程化（AJAX 和VUE入门）

JavaWeb（6）——前端工程化（AJAX 和VUE入门）

一、AJAX快速入门 而原生的Ajax请求的代码编写起来还是比较繁琐的&#xff0c;所以接下来我们学习一门更加简单的发送Ajax 请求的技术Axios 。Axios是对原生的AJAX进行封装&#xff0c;简化书写。 Axios官网是&#xff1a;起步 | Axios 中文文档 | Axios 中文网 (axios-http.c…
阅读更多...
[极客大挑战 2019]PHP（反序列化）

[极客大挑战 2019]PHP（反序列化）

介绍说明&#xff0c;有备份的习惯&#xff0c;找常见的备份文件后缀名 使用dirsearch进行扫描 dirsearch -u http://f64378a5-a3e0-4dbb-83a3-990bb9e19901.node4.buuoj.cn:81/ -e php-e 指定网站语言 扫描出现&#xff0c;www.zip文件 查看index.php <?php include c…
阅读更多...
力扣C++｜一题多解之数学题专场（1）

力扣C++｜一题多解之数学题专场（1）

目录 7. 整数反转 9. 回文数 12. 整数转罗马数字 13. 罗马数字转整数 29. 两数相除 7. 整数反转 给你一个 32 位的有符号整数 x &#xff0c;返回将 x 中的数字部分反转后的结果。 -如果反转后整数超过 32 位的有符号整数的范围 [2^31, 2^31 -1] &#xff0c;就返回 0。…
阅读更多...
智慧体育：冰壶比赛数字孪生

智慧体育：冰壶比赛数字孪生

本篇文章将介绍如何使用物理引擎和图扑 3D 可视化技术来呈现冰壶运动的模拟。 Oimo.js 物理引擎 Oimo.js 是一个轻量级的物理引擎&#xff0c;它使用 JavaScript 语言编写&#xff0c;并且基于 OimoPhysics 引擎进行了改进和优化。Oimo.js 核心库只有 150K &#xff0c;专门用…
阅读更多...
漏洞复现畅捷通CRM SQL注入

漏洞复现畅捷通CRM SQL注入

免责声明 术文章仅供参考，任何个人和组织使用网络应当遵守宪法法律，遵守公共秩序，尊重社会公德，不得利用网络从事危害国家安全、荣誉和利益，未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失，均由使用…
阅读更多...
PHP与Golang对战：两种语言的比较与应用场景探讨

PHP与Golang对战：两种语言的比较与应用场景探讨

引言 在软件开发领域&#xff0c;选择一种合适的编程语言对于项目的成功至关重要。而在今天的文中&#xff0c;我们将探讨两个备受争议的编程语言——PHP与Golang之间的对战。通过比较它们的优势和应用场景&#xff0c;帮助开发者更好地了解如何选择适合自己项目的语言。 PHP的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023