linux高级篇基础理论十一(GlusterFS)

♥️作者:小刘在C站

♥️个人主页: 小刘主页 

♥️不能因为人生的道路坎坷,就使自己的身躯变得弯曲;不能因为生活的历程漫长,就使求索的 脚步迟缓。

♥️学习两年总结出的运维经验,以及思科模拟器全套网络实验教程。专栏:云计算技术

♥️感谢CSDN让你我相遇!

目录

GFS简介

1、GlusterFS特点:

2、GFS术语

3、GlusterFS的工作流程

4、弹性HASH算法

算法优点

5、GFS的七种卷的类型:

6、GFS多卷的创建:

分布式卷:

条带卷:

复制卷:

分布式条带卷:

分布式复制卷:​编辑

命令解析:

命令补充:(重要)


GFS简介

GlusterFS是一个开源的分布式文件系统,同时也是Scale--Out存储解决方案Gluster的核心,在
存储数据方面具有强大的横向扩展能力,通过扩展不同的节点可以支持数PB级别的存储容量。
GlusterFS借助TCP/IP或InfiniBand RDMA网络将分散的存储资源汇聚在一起,统一提供存储服务,并使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间以及无元的设计,可为各种不同的数据负载提供优异的性能。

1、GlusterFS特点:

   扩展性和高性能
   高可用性
   全局统一命名空间
   弹性卷管理
   基于标准协议


2、GFS术语

  • Brick(存储块):指可信主机池中由主机提供的用于物理存储的专用分区,是GlusterFS中的基本存储单元,同时也是可信存储池中服务器上对外提供的存储目录。存储目录的格式由服务器和目录的绝对路径构成,表示方法为SERVER:EXPORT,如192.168.1.4:data/mydir/
  • Volume(逻辑卷):一个逻辑卷是一组Brick的集合。卷是数据存储的逻辑设备,类似于LVM中的逻辑卷。大部分Gluster管理操作是在卷上进行的。
  • FUSE(Filesystem inUserspace):是一个内核模块,允许用户创建自己的文件系统,无须修改内核代码。
  • VFS:内核空间对用户空间提供的访问磁盘的接口。
  • Glusterd(后台管理进程):在存储群集中的每个节点上都要运行

3、GlusterFS的工作流程

(1)客户端或应用程序通过GlusterFS的挂载点访问数据。
(2)Linux系统内核通过VFS API收到请求并处理
(3)VFS将数据递交给FUSE内核文件系统,并向系统注册一个实际的文件系统FUSE,而FUSE
文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端。可以将FUSE文件系统理
解为一个代理。
(4)GlusterFS client收到数据后,client根据配置文件对数据进行处理
(5)经过GlusterFS client处理后,通过网络将数据传递至远端的GlusterFS Server,并且将数据写
入服务器存储设备。


4、弹性HASH算法

弹性HASH算法使用Davies--Meyer算法,通过HASH算法得到一个32位的整数范围,假设逻辑卷中有W个存储单位Bck,则32位的整数范围将被划分为W个连续的子空间,每个空间对应一个
Bck。当用户或应用程序访问某一个命名空间时,通过对该命名空间计算HASH值,根据该HASH值所对应的32位整数空间定位数据所在的Bick。

算法优点

保证数据平均分布在每一个Brick中
解决了对元数据服务器的依赖,进而解决了单点故障以及访问瓶颈


5、GFS的七种卷的类型:

  • 分布式卷:(Distribute volume):文件通过HASH算法分布到所有Brick Server上,这种卷是Glusterf的基础;以文件为单位根据HASH算法散列到不同的Brick,其实只是扩大了磁盘空间,如果有一块磁盘损坏,数据也将丢失,属于文件级的RADO 0,不具有容错能力。
  • 条带卷(Stripe volume):类似RAID0,文件被分成数据块并以轮询的方式分布到多个BrickServer上,文件存储以数据块为单位,支持大文件存储,文件越大,读取效率越高。
  • 复制卷(Replica volume):将文件同步到多个Brick上,使其具备多个文件副本,属于文件级RAD1,具有容错能力。因为数据分散在多个Bick中,所以读性能得到很大提升,但写性能下降。
  • 分布式条带卷(Distribute Stripe volume):Brick Server数量是条带数(数据块分布的Brick数量)的倍数,兼具分布式卷和条带卷的特点。
  • 分布式复制卷(Distribute Replica volume):Brick Server数量是镜像数(数据副本数量)的倍数,兼具分布式卷和复制卷的特点。
  • 条带复制卷(Stripe Replica volume):类似RAID10,同时具有条带卷和复制卷的特点。
  • 分布式条带复制卷(Distribute Stripe Replicavolume):三种基本卷的复合卷,通常用于类Map
  • Reduce应用。

6、GFS多卷的创建:

分布式卷:

条带卷:

复制卷:

分布式条带卷:

分布式复制卷:
命令解析:

1:创建中共用4台服务器,分别为:node1/node2/node3/node4。

2:node1与node2服务器分别有四块磁盘,剩下两台分别有三块磁盘。

3:其中b3/c4/d5/e6/分别为实际挂载点

4:create后面参数为卷名,卷面后面关键字为创建卷的类型

命令补充:(重要)

查看卷的信息:gluster     volume     info     卷名    //(例如上方:dis-volume)

启动卷:gluster   volume    start  卷名    //(使用前必须开启)

挂载:mount    -t   glusterfs  node1:dis-volume   /test/dis    (node1:主机,dis-volume:卷名,     test/dis:挂载点)

人生要尽全力度过每一关,不管遇到什么困难不可轻言放弃!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/342246.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《YOLO算法:基础+进阶+改进》报错解决 专栏答疑

前言:Hello大家好,我是小哥谈。《YOLO算法:基础进阶改进》专栏上线后,部分同学在学习过程中提出了一些问题,笔者相信这些问题其他同学也有可能遇到。为了让大家可以更好地学习本专栏内容,笔者特意推出了该篇…

Vant-ui图片懒加载

核心代码 在你的全局顶部引入和初始化 Vue.use(vant.Lazyload, {loading: /StaticFile/img/jiazai.jpg,error: /StaticFile/img/jiazai.jpg,lazyComponent: false, });//图片懒加载 <img v-lazy"https://img-blog.csdnimg.cn/direct/3d2c8a7e2c0040488a8128c3e381d58…

四、C++内存管理

1 C/C内存分布 在学习C的内存管理方式之前&#xff0c;我们先来看一道有关C/C内存分布的题目&#xff1a; 阅读下面的代码&#xff0c;回答相关问题&#xff1a; #include <iostream> using namespace std; int globalVar 1; static int staticGlobalVar 1; int main…

启动redis出现Creating Server TCP listening socket 127.0.0.1:6379: bind: No error异常

1.进入redis安装目录&#xff0c;地址栏输入cmd 2.输入命令 redis-server.exe redis.windows.conf redis启动失败 解决&#xff0c;输入命令 #第一步 redis-cli.exe#第二步 shutdown#第三步 exit第四步 redis-server.exe redis.windows.conf 显示以下图标即成功

【报错】检索 COM 类工厂中 CLSID 为 {28E68F9A-8D75-11D1-8DC3-3C302A000000} 的组件失败错误

情况描述 在使用C#进行工控软件开发&#xff0c;需要连接通过OPC连接DCS系统时&#xff0c;需要通过visual studio的NuGet包管理器添加OpcAutomation&#xff0c;如下图所示&#xff1a; 这样便可以实现通过C#连接读取数据。但是在通过C#连接OPC server时&#xff0c;会出现错…

ChatGpt使用技巧

通用类技巧 角色扮演 比如让ChatGpt扮演500强营销专家 告诉ChatGpt你的身份。初学者、或是有一定能力、知识的学习者等 限制ChatGpt回答长度 100~200字之间 让ChatGpt一步一步思考 他会预测下一个单词&#xff0c;根据prompt进行生成 明确你的要求和目的 说清楚问题&#x…

centos7下升级openssh9.4p1及openssl1.1.1v版本

背景&#xff1a;客户服务器扫描出一些漏洞&#xff0c;发现和版本有关&#xff0c;漏洞最高的版本是9.3p2&#xff0c;所以我们安装一个openssh9.4p1版本及openssl1.1.1v版本 虽然我们进行了镜像备份&#xff0c;为了安全先安装telnet以防止升级失败无法通过ssh连接服务器 一…

FFmpeg转码分辨率会变化的视频

遇到一个需求&#xff1a; 有一个H264的视频流源文件&#xff0c;希望能够想办法转换成mp4的格式。 存在的问题&#xff1a; mp4格式的视频大多数是固定分辨率的&#xff0c;比如960*480&#xff0c;如果h264视频流文件是固定尺寸的&#xff0c;那就没有任何问题。 但是&am…

2023年全球运维大会(GOPS上海站):核心内容与学习收获(附大会核心PPT下载)

随着科技的不断进步&#xff0c;运维行业也在经历着日新月异的变化。2023年全球运维大会&#xff08;GOPS上海站&#xff09;作为业内的一大盛会&#xff0c;汇集了众多顶尖的运维专家、学者和实践者&#xff0c;共同探讨和分享运维领域的前沿技术和实践经验。本文将深入剖析大…

视频转换mp3的软件有哪些?这4款帮你轻松转换

视频转换mp3的软件有哪些&#xff1f;随着技术的发展&#xff0c;将视频转换为MP3已经成为我们日常生活中常见的需求。视频中往往包含有丰富的音频信息&#xff0c;通过转换工具&#xff0c;我们可以轻松地将这些信息提取出来&#xff0c;保存为MP3格式的音频文件。例如&#x…

用通俗易懂的方式讲解:大模型 RAG 技术,从入门到精通

本文基于IVAN ILIN发布于Towards AI的博客[1]进行总结归纳&#xff0c;感谢原作者的精彩讲解。 检索增强生成&#xff08;Retrieval Augmented Generation&#xff0c;简称RAG&#xff09;为大型语言模型&#xff08;LLMs&#xff09;提供了从某些数据源检索到的信息&#xff0…

【数据结构】数据结构中应用题大全(完结)

自己在学习过程中总结了DS中几乎所有的应用题&#xff0c;可以用于速通期末考/考研/各种考试。很多方法来源于B站大佬&#xff0c;底层原理本文不做过多介绍&#xff0c;建议自己研究。例题大部分选自紫皮严书。pdf版在主页资源 一、递归时间/空间分析 1.时间复杂度的分析 设…