ceph数据分布式存储

单机存储的问题

  • 存储处理能力不足 传统的IDE的IO值是100次/秒，SATA固态磁盘500次/秒，固态硬盘达到2000-4000次/秒。即使磁盘的IO能力再大数十倍，也不够抗住网站访问高峰期数十万、数百万甚至上亿用户的同时访问，这同时还要受到主机网络IO能力的限制。

  • 存储空间能力不足 单块磁盘的容量再大，也无法满足用户的正常访问所需的数据容量限制。

  • 单点故障问题 单机存储数据存在单点故障问题

商业存储解决方案

EMC、NetAPP、IBM、DELL、华为、浪潮

分布式存储（软件定义的存储 SDS）

Ceph、TFS、FastDFS、MooseFS（MFS）、HDFS、GlusterFS（GFS） 存储机制会把数据分散存储到多个节点上，具有高扩展性、高性能、高可用性等优点。

数据存储的类型

块存储

  • 存储设备与客户端主机是一对一的关系，块存储设备只能被一个主机挂载使用，数据以块为单位进行存储

典型代表：硬盘

文件存储

  • 一对多，能被多个主机同时挂载或传输使用。

  • 数据以文件的形式存储的，其中文件的元信息数据和实际数据是分开存储的，并且有目录的层级关系

典型代表：NFS、CIFS、FTP

对象存储

  • 一对多，能被多个主机或应用程序同时通过API接口访问使用。

  • 数据以文件的形式存储，一个文件就是一个对象，文件的元信息和实际数据是在一起的，文件扁平化存储，没有目录层级关系，

典型代表：OSS，S3

了解ceph

ceph存储

开源的分布式存储系统，具有高性能、高扩展性、高可用性等特点，集块存储，文件存储，对象存储于一身。

Ceph 优势

  • 高扩展性：去中心化，支持使用普通X86服务器，支持上千个存储节点的规模，支持TB到EB级的扩展。

  • 高可靠性：没有单点故障，多数据副本，自动管理，自动修复。

  • 高性能：摒弃了传统的集中式存储元数据寻址的方案，采用 CRUSH 算法，数据分布均衡，并行度高。

  • 功能强大：Ceph是个大一统的存储系统，集块存储接口（RBD）、文件存储接口（CephFS）、对象存储接口（RadosGW）于一身，因而适用于不同的应用场景。

ceph架构

自上往下

  • 客户端（主机/虚拟机/容器/应用程序/）：

    在ceph中进行数据读写的终端。

  • LibRADOS对象访问接口：

    提供访问存储接口给客户端使用。Ceph默认提供三个接口：RBD块存储接口、RGW对象存储接口、CephFS文件存储接口。还支持用户使用java、python、C、C++等编程语言，二次开发自定义访问接口

  • RADOS基础存储系统（统一存储池）：

    提供存储能力的。Ceph中一切都是

ceph组件

OSD----Monitor----Manager----MDS

OSD（ceph-osd）

负责存储数据和管理数据，一般一个磁盘对应一个OSD，还负责响应客户端的读写请求

Monitor(ceph-mon)

负责保存OSD的元数据，维护Ceph集群状态的各种映射视图Map（监视全局状态），还负责管理客户端的认证和授权

Manager(ceph-mgr)

负责跟踪Ceph集群性能状态和监控指标，暴露接口给外部监控系统获取监控指标数据

MDS（ceph-mds)

负责保存CophFS文件存储系统的元数据，管理目录结构，仅在使用cephFS文件存储接口功能的时候使用

PG(归置组)：

可理解成保存OSD位置的索引，一个PG可以包含多个数据对象（object），一个数据对象只能数据一个PG

PG与OSD的对应关系是在创建存储池Pool的时候就确定好的

Pool（存储池/资源池/数据池）：

可以理解成存放PG 的命名空间namespace，一个pool可有包含多个PG，同一个Pool里的PG不可以同名，不同的Pool里的PG可以同名

raft / paxos 都是一致性选举算法 实现这种分布式系统中数据的同步和leader的选举

OSD存储引擎（FileStore，BlueStore）

FilreStore：是12.x以前版本的唯一可选的OSD存储引擎，将数据对象存储为文件系统中的文件，                     性能上存在许多不足

BlueStore：是12.x版本之后默认的OSD存储引擎，将数据对象直接存储在块设备上，具有更好的                     数据读写性能和可靠性

ceph的存储过程

1）文件默认会被按照4M大小进行分片成一个或多个数据对象

2）每个数据对象都有一个oid和分片编号，通过对oid使用hash算法得到一个16进制的特征码，再除以Pool的PG总数取余，得到数据对象的pgid

3）通过pgid使用CRUSH算法得到PG对应的OSD的ID

4）将数据对象的数据存储到对应的OSD上

ceph部署

1.实验准备

添加网卡，添加硬盘（每个节点加三块硬盘）准备三台主机和管理节点和客户端节点关闭防火墙管理节点：192.168.116.12客户端节点：192.168.116.13主机1：192.168.116.14主机2：192.168.116.15主机3：192.168.116.40

//环境准备
可选步骤：创建 Ceph 的管理用户
useradd cephadm
passwd cephadm
​
visudo
cephadm ALL=(root) NOPASSWD:ALL

2.根据规划设置主机名

hostnamectl set-hostname admin
hostnamectl set-hostname client
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03

3、配置 hosts 解析

vim /etc/hosts
192.168.116.12 admin
192.168.116.13 client
192.168.116.14 node01
192.168.116.15 node02
192.168.116.40 node03

4、安装常用软件和依赖包

yum -y install epel-release
yum -y install yum-plugin-priorities yum-utils ntpdate python-setuptools python-pip gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git bind-utils tmux elinks numactl iftop bwm-ng net-tools expect snappy leveldb gdisk python-argparse gperftools-libs conntrack ipset jq libseccomp socat chrony sshpass

5、在 admin 管理节点配置 ssh 免密登录所有节点

ssh-keygen -t rsa
sshpass -p '123' ssh-copy-id -o StrictHostKeyChecking=no root@admin
sshpass -p '123' ssh-copy-id -o StrictHostKeyChecking=no root@node01
sshpass -p '123' ssh-copy-id -o StrictHostKeyChecking=no root@node02
sshpass -p '123' ssh-copy-id -o StrictHostKeyChecking=no root@node03

6、所有主机配置时间同步

vim /etc/chrony.conf
也可以使用默认的官方源
server ntp.aliyun.com iburst   #指定阿里云源服务器
​
​
systemctl enable --now chronyd
timedatectl set-ntp true                    #开启 NTP
timedatectl set-timezone Asia/Shanghai      #设置时区
chronyc -a makestep                         #强制同步下系统时钟，返回200显示与源服务器同步
timedatectl status                          #查看时间同步状态
chronyc sources -v                          #查看 ntp 源服务器信息
timedatectl set-local-rtc 0                 #将当前的UTC时间写入硬件时钟
​
​
​
#重启依赖于系统时间的服务
systemctl restart rsyslog 
systemctl restart crond
​
#关闭无关服务
systemctl disable --now postfix
 

准备node主机的网卡文件，管理和客户端节点不需要设置
将本机的ens33网卡cp一个，去掉新的uid，将名字更改，ip改成192.168.100网段
cp ifcfg-ens33 ifcfg-ens36systemctl restart network
ifconfig检查是否更改好
 

 

 

7、配置 Ceph yum源
 

wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate
​
将下载到本地的文件夹剪切到/opt下
mv ceph-release-1-1.el7.noarch.rpm /optcd /opt
rpm -ivh ceph-release-1-1.el7.noarch.rpm --force
安装完后会发现在/etc/yum.repo.d目录下有ceph.repo
​
​之后重启reboot,重启后记得先关闭防火墙
 

 

​
 


 ​部署 Ceph 集群
 

1、为所有节点都创建一个 Ceph 工作目录，后续的工作都在该目录下进行
 

mkdir -p /etc/ceph
 

2、安装 ceph-deploy 部署工具
 

cd /etc/ceph
yum install -y ceph-deployceph-deploy --version       #查看版本
 

 

3、所有节点安装 Ceph 软件包
 

#ceph-deploy 2.0.1 默认部署的是 mimic 版的 Ceph，若想安装其他版本的 Ceph，可以用 --release 手动指定版本
cd /etc/ceph
ceph-deploy install --release nautilus node0{1..3} admin直接用下面的命令做就行
#ceph-deploy install 本质就是在执行下面的命令：
yum clean all
yum -y install epel-release
yum -y install yum-plugin-priorities
yum -y install ceph-release ceph ceph-radosgw#也可采用手动安装 Ceph 包方式，在其它节点上执行下面的命令将 Ceph 的安装包都部署上：
sed -i 's#download.ceph.com#mirrors.tuna.tsinghua.edu.cn/ceph#' /etc/yum.repos.d/ceph.repo
yum install -y ceph-mon ceph-radosgw ceph-mds ceph-mgr ceph-osd ceph-common ceph
 

 

4、生成初始配置
 

#在管理节点运行下述命令，告诉 ceph-deploy 哪些是 mon 监控节点
cd /etc/ceph
ceph-deploy new --public-network 192.168.116.0/24 --cluster-network 192.168.100.0/24 node01 node02 node03#命令执行成功后会在 /etc/ceph 下生成配置文件
ls /etc/ceph
ceph.conf					#ceph的配置文件
ceph-deploy-ceph.log		#monitor的日志
ceph.mon.keyring			#monitor的密钥环文件，用于验证
 

 

 

5、在管理节点初始化 mon 节点
 

cd /etc/ceph
ceph-deploy mon create node01 node02 node03			
#创建 mon 节点，由于 monitor 使用 Paxos 算法，其高可用集群节点数量要求为大于等于 3 的奇数台ceph-deploy --overwrite-conf mon create-initial		
#配置初始化 mon 节点，并向所有节点同步配置
# --overwrite-conf 参数用于表示强制覆盖配置文件ceph-deploy gatherkeys node01						
#可选操作，向 node01 节点收集所有密钥
 

#命令执行成功后会在 /etc/ceph 下生成配置文件
ls /etc/ceph
ceph.bootstrap-mds.keyring			#引导启动 mds 的密钥文件
ceph.bootstrap-mgr.keyring			#引导启动 mgr 的密钥文件
ceph.bootstrap-osd.keyring			#引导启动 osd 的密钥文件
ceph.bootstrap-rgw.keyring			#引导启动 rgw 的密钥文件
ceph.client.admin.keyring			#ceph客户端和管理端通信的认证密钥，拥有ceph集群的所有权限
ceph.conf
ceph-deploy-ceph.log
ceph.mon.keyring
 

 

#在 mon 节点上查看自动开启的 mon 进程
ps aux | grep ceph
 

 

#在管理节点查看 Ceph 集群状态
cd /etc/ceph
ceph -s
 

 

#查看 mon 集群选举的情况，判断哪条为leader
ceph quorum_status --format json-pretty | grep leader
 

 

#扩容 mon 节点
ceph-deploy mon add <节点名称>
 

6、部署能够管理 Ceph 集群的节点
 

#可实现在各个节点执行 ceph 命令管理集群
cd /etc/ceph
ceph-deploy --overwrite-conf config push node01 node02 node03		
#向所有 mon 节点同步配置，确保所有 mon 节点上的 ceph.conf 内容必须一致ceph-deploy admin node01 node02 node03			
#本质就是把 ceph.client.admin.keyring 集群认证文件拷贝到各个节点#在 mon 节点上查看
ls /etc/ceph
ceph.client.admin.keyring  ceph.conf  rbdmap  tmpr8tzyc
cd /etc/ceph
ceph -s
 

 

7、部署 osd 存储节点
 

如果是利旧的硬盘，则需要先擦净（删除分区表）磁盘（可选，无数据的新硬盘可不做）
cd /etc/ceph
ceph-deploy disk zap node01 /dev/sdb
ceph-deploy disk zap node02 /dev/sdb
ceph-deploy disk zap node03 /dev/sdb因为我们是新的，所以用下面的命令直接添加即可
#添加 osd 节点
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdbceph-deploy --overwrite-conf osd create node01 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdcceph-deploy --overwrite-conf osd create node01 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdd做完之后用ceph -s 检查一下
 

 

ceph osd stat#查看osd的状态
ceph osd tree#查看几个osdceph osd status    #查看 osd 状态，需部署 mgr 后才能执行
 

 

 

 

 

8、部署 mgr 节点
 

cd /etc/ceph
ceph-deploy mgr create node01 node02
 

 

#解决 HEALTH_WARN 问题：mons are allowing insecure global_id reclaim问题：
禁用不安全模式：ceph config set mon auth_allow_insecure_global_id_reclaim false
显示ok即关闭
 

 
 

显示ok之后可以通过ceph osd status 以表格形式查看osd状态了ceph osd df      查看磁盘使用量
 

 

#扩容 mgr 节点
ceph-deploy mgr create <节点名称>
例如添加node03节点
ceph-deploy mgr create node03
 

 

9、开启监控模块
 

#在 ceph-mgr Active节点执行命令开启
ceph -s查看到node01是Active，所有到node01上去执行
ceph -s | grep mgr
yum install -y ceph-mgr-dashboard
#安装图形化面板
cd /etc/ceph
ceph mgr module ls | grep dashboard
 

 

#开启 dashboard 模块
ceph mgr module enable dashboard --force#禁用 dashboard 的 ssl 功能，使用http去访问
ceph config set mgr mgr/dashboard/ssl false#配置 dashboard 监听的地址和端口
ceph config set mgr mgr/dashboard/server_addr 0.0.0.0   #0.0.0.0为任意地址
ceph config set mgr mgr/dashboard/server_port 8000       #指定端口号#重启 dashboard
ceph mgr module disable dashboard
ceph mgr module enable dashboard --force#确认访问 dashboard 的 url
ceph mgr services
 

 

#设置 dashboard 账户以及密码
echo "12345678" > dashboard_passwd.txt#加载这个文件（有两种方式）
ceph dashboard set-login-credentials admin -i dashboard_passwd.txt或
ceph dashboard ac-user-create admin administrator -i dashboard_passwd.txt浏览器访问：http://192.168.80.11:8000 ，账号密码为 admin/12345678
 

 

 
 

10、验证
 

 

 

 












本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/416318.html


如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！












相关文章










13、Redis高频面试题








13、Redis高频面试题




1、项目中为什么用Redis 
我们项目中之所以选择Redis&#xff0c;主要是因为Redis有下面这些优点&#xff1a; 
操作速度快&#xff1a;Redis的数据都保存在内存中&#xff0c;相比于其它硬盘类的存储&#xff0c;速度要快很多数据类型丰富&#xff1a;Redis支持 string&#x…




阅读更多...

















2024.1.16 用户画像day01 - 项目介绍








2024.1.16 用户画像day01 - 项目介绍




目录 一. 项目介绍 
整体流程: 
项目建设目的: 
学习安排: 
技术选型: 
技术架构: 
项目架构: 
二 . 名词解释 一. 项目介绍 
整体流程: 项目介绍-elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据- 结构化流实时指标 - 制作报表  数仓开发用户画像…




阅读更多...

















Hardware-Aware-Transformers开源项目笔记








Hardware-Aware-Transformers开源项目笔记




文章目录 Hardware-Aware-Transformers开源项目笔记开源项目背景知识nas进化算法进化算法代码示例 开源项目Evolutionary Search1 生成延迟的数据集2 训练延迟预测器3 使延时约束运行搜索算法4. 训练搜索得到的subTransformer5. 根据重训练后的submodel 得到BLEU精度值 代码结构…




阅读更多...

















Python使用pyechart创建疫情确诊图（2）（2024）








Python使用pyechart创建疫情确诊图（2）（2024）




import json
from pyecharts.charts import Map
from pyecharts import options as opts# 首先打开文件获取数据
f  open("/Desktop/python/Project/数据可视化/疫情.txt", "r", encoding"UTF-8")
data  f.read()# 字符串转化成json数据
data_js…




阅读更多...

















Adobe全新AI驱动的Premiere Pro功能消除了枯燥的音频编辑任务








Adobe全新AI驱动的Premiere Pro功能消除了枯燥的音频编辑任务




每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…




阅读更多...

















LeetCode19：删除链表的倒数第N个结点








LeetCode19：删除链表的倒数第N个结点




力扣题目链接 
思路&#xff1a;由于本题有可能删除头结点&#xff0c;为保证删除头结点和其他结点的操作一致&#xff0c;因此首先创建一个虚拟头结点dummy。 
其次&#xff0c;本题需要删除倒数第N个结点&#xff0c;由于单链表只有next指针&#xff0c;因此需要找到倒数第N1…




阅读更多...

















浅谈安科瑞直流表在孟加拉某能源公司的应用








浅谈安科瑞直流表在孟加拉某能源公司的应用




摘要&#xff1a;本文介绍了安科瑞直流电表在孟加拉某能源公司的应用。主要用于光伏直流柜内&#xff0c;配合分流器对汇流箱的输出电流电压等进行测量&#xff0c;并采集配电现场的开关信号&#xff0c;装置带有RS485接口可以把测量和采集的数据和设备状态上传。 
Abstract: T…




阅读更多...

















计算机找不到msvcp120.dll的修复方法，总结五种可靠的方法








计算机找不到msvcp120.dll的修复方法，总结五种可靠的方法




在计算机使用过程中&#xff0c;遭遇“找不到msvcp120.dll”这一问题的困扰是许多用户都可能遇到的情况。这一特定的系统文件msvcp120.dll&#xff0c;作为Microsoft Visual C Redistributable Package的重要组成部分&#xff0c;对于运行某些应用程序至关重要。当系统提示无法…




阅读更多...

















springboot mybatis-plus swing实现报警监听








springboot mybatis-plus swing实现报警监听




通过声音控制报警器&#xff0c;实现声光报警&#xff0c;使用beautyeye_lnf.jar美化界面如下   
EnableTransactionManagement(proxyTargetClass  true)
SpringBootApplication
EnableScheduling
public class AlarmWarnApplication {public static void main(String[] args) …




阅读更多...

















基于SpringBoot Vue博物馆管理系统








基于SpringBoot Vue博物馆管理系统




大家好✌&#xff01;我是Dwzun。很高兴你能来阅读我&#xff0c;我会陆续更新Java后端、前端、数据库、项目案例等相关知识点总结&#xff0c;还为大家分享优质的实战项目&#xff0c;本人在Java项目开发领域有多年的经验&#xff0c;陆续会更新更多优质的Java实战项目&#x…




阅读更多...

















一文了解【完全合作关系】下的【多智能体强化学习】








一文了解【完全合作关系】下的【多智能体强化学习】




处于完全合作关系的多智能体的利益一致&#xff0c;获得的奖励相同&#xff0c;有共同的目标。比如多个工业机器人协同装配汽车&#xff0c;他们的目标是相同的&#xff0c;都希望把汽车装好。 
在多智能体系统中&#xff0c;一个智能体未必能观测到全局状态 S。设第 i 号智能体…




阅读更多...

















Protobuf小记（万字）








Protobuf小记（万字）




Protobuf小记 序列化概念序列化和反序列化 ProtoBuf 初识快速上手通讯录 1.0通讯录 1.0 - 函数 API 小结 编译 contacts.proto 文件&#xff0c;生成 C 文件 proto 3 语法详解字段规则消息类型的定义与使用定义 通讯录 2.0通讯录 2.0 的写入实现通讯录 2.0 的输出实现通讯录 2.…




阅读更多...


















推荐文章












最新文章


















Copyright @ 2022~2023