云计算的学习（四）-编程知识

四、云计算中的存储基础知识

1.云计算虚拟化中的存储架构

在这里插入图片描述

①虚拟化存储

在虚拟化存储架构中，最底层为物理磁盘。

底层的硬件组成存储池，存储池分为NAS存储和SAN存储；NAS存储需要文件系统；SAN存储需要对存储池进行逻辑划分产生逻辑卷，再在逻辑卷上添加文件系统；无论是NAS存储还是SAN存储最后都会生成一个共享目录，虚拟的磁盘会对应成文件。

虚拟化的本质是将一台物理机变成一个文件或文件夹，这些文件或文件夹存储在共享目录下，文件或文件夹会对应成虚拟磁盘。

②非虚拟化存储

在非虚拟化存储架构中，最底层为物理磁盘。

服务器自带的硬盘既可以进行虚拟化存储，也可以进行非虚拟化存储。

服务器自带的硬盘要进行逻辑划分产生逻辑卷；如果是分布式存储，会产生分布式存储池，再进行逻辑划分产生逻辑卷；逻辑卷不需要共享目录，直接转换成虚拟机的虚拟磁盘。

2.物理磁盘类型

2.1SATA盘

在这里插入图片描述

SATA全称为Serial Advanced Technology Attachment，SATA（Serial ATA）口的硬盘又叫串口硬盘。常见SATA盘的转速为7200转。SATA采用串行连接方式，串行ATA总线使用嵌入式时钟信号，具备了更强的纠错能力，与以往相比其最大的区别在于能对传输指令（不仅是数据）进行检查，如果发现错误会自动矫正，在很大程度上提高了数据传输的可靠性。串行接口具有结构简单、支持热插拔的优点。

SATA盘的存储量高于SAS盘，价格低于SAS盘。

2.2SAS盘

在这里插入图片描述

SAS（Serial Attached SCSI）即串行连接SCSI，是新一代的SCSI技术，与SATA硬盘相同，都是用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计师为了改善存储系统的效能、可用性和扩充性，并提供与SATA硬盘的兼容性。常见SAS盘的转速为15000转。由于接口的设计更为高级，转速高，SAS盘的读写速度高于SATA盘。

SAS盘主要面对高数据吞吐量，低延迟，高可靠的应用，通常用于企业级存储。

2.3NL-SAS盘

在这里插入图片描述

NL-SAS（进线SAS）采用了SAS的磁盘接口和SATA的盘体。NL-SAS硬盘的转速只有7200转，因此性能比SAS硬盘差。但由于使用了SAS接口，所以在寻址和速度上有所提升。

NL-SAS盘性能高于SATA盘，容量大于SAS盘，价格介于二者之间。

2.4SSD盘

在这里插入图片描述

SSD（Solid State Disk），固态硬盘，是用固态电子存储芯片阵列而成的硬盘，由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。SSD在接口的规范和定义、功能及使用方法上与普通硬盘完全相同，在产品外形和尺寸上也完全与普通硬盘一直。SSD盘虽然具有传统机器硬盘所不具备的快速读写、质量轻、能耗低以及体积小等特点，但其使用寿命有限且价格较高。

2.5物理磁盘性能价格比较

在这里插入图片描述

3.集中式存储和分布式存储

3.1集中式存储

集中存储硬盘到硬盘框中，对磁盘进行RAID（独立磁盘冗余阵列）操作形成资源池，将资源池供主机使用。

RAID 是英文 Redundant Array of Independent Disk 的首字母缩写，中文意思是：独立磁盘冗余阵列。通俗的讲就是把多块硬盘组成一个独立的磁盘阵列进行管理。

RAID使用多块磁盘并行读写，提高数据读写速度；拥有奇偶校验和热备技术，保证数据不会丢失，提高数据安全性。

在这里插入图片描述

常用的RAID类型有：RAID 0、RAID 1、RAID 5、RAID 6、RAID 01、RAID 10。

不常用的RAID类型有：RAID 2、RAID 3、RAID 4、RAID 7、RAID 50、RAID 53。

RAID 0：两块以上硬盘同时处理数据，提高读写速度；一块硬盘出现问题，所有数据都将无效，无法保证数据安全。

RAID 1：将数据复制为两份，同时分别存储在不同的两块硬盘上，保证了数据的安全性，同时一定程度上解决了读写速度问题；会浪费硬盘空间。

RAID 5：增加奇偶校验技术，两块硬盘存储不同数据，一块硬盘存储校验值，根据任意两块磁盘可以推算出另一块磁盘的数据，保证数据的安全性，同时解决了读写速度问题；一旦损坏两块硬盘，数据就无法恢复了。

RAID 6：两块硬盘存储不同数据，两块硬盘存储不同校验值，损坏任意两块盘，都可以通过另外两块盘进行数据恢复。安全性高于RAID 5，资源利用率低于RAID 5。

3.2集中式存储类型

在这里插入图片描述

SAN系统是存储区域网络，NAS系统是网络附加存储。

①SAN和NAS的相似处

SAN和NAS系统都是使用RAID的冗余存储系统。

冗余存储系统能够在一个或多个组件发生故障后恢复，使其比其他类型的存储更稳定。SAN和NAS解决方案对于那些需要存储大量数据并需要能够稳定可靠地访问这些数据的人非常有用。

②SAN和NAS的区别

**SAN存储设备通过光纤连接，而NAS存储设备通过TCP/IP连接。**由于这个原因，SAN通常用于高级解决方案，而NAS解决方案更易于家庭用户或小型企业使用。为了通过SAN连接，设备必须能够使用SCSI光纤通道。相比之下，NAS比较简单，任何东西都可以通过以太网连接到NAS解决方案。
**SAN存储设备访问数据块，而NAS存储设备访问单个文件。**根据性能需求，这两种选择都可能更可取，这完全取决于数据和系统的体系结构。对于数据和资源密集型的高级应用程序，块数据可能更为可取。但是对于一般存储的数据来说，NAS可能更直接，并可以带来更好的性能。
**SAN存储设备连接多个存储设备，而NAS存储设备作为单个专用设备运行。**SAN解决方案实质上是创建一组存储设备，它们都在同一个网络上运行。另一方面，NAS数组作为存储在单个设备中。从功能上讲，这意味着二者运行方式截然不同：SAN主要依赖于硬件，而NAS主要依赖于网络。
SAN存储向上提供裸设备，在主机侧看似空硬盘；NAS存储拥有文件系统，在主机侧看似目录。

3.3分布式存储

在这里插入图片描述

物理主机真正的数据可能存放在集中式存储上，多个主机可以共享数据，剩余的硬盘为了不造成浪费，将各个主机上闲置的硬盘提取出来，使用副本机制技术组成一个资源池供所有主机使用。

3.4副本机制

①数据写入

在这里插入图片描述

以三副本形式为例，写入数据后，数据会被写入分布式存储池中，在落盘时数据会被复制成三份，每份数据都会保存在不同的硬盘上

②数据读取

只读一份数据，当磁盘损坏时才会读取第二份数据、第三份数据。使用副本机制可以有效保证数据的安全性。

3.5常见分布式存储产品

ceph、hadoop-HDFS、华为云fusionStorage、VMware-vSAN

4.虚拟化存储和非虚拟化存储

4.1云计算中虚拟化存储转换路径

4.2云计算中非虚拟化存储转换路径

4.3虚拟化存储和非虚拟化存储的区别

虚拟化存储计算集群所使用的全部都是有文件系统的存储；非虚拟化存储计算集群所使用的不是带有文件系统的存储，而是交给上层操作系统（虚拟机的操作系统）进行格式化

4.4RAID与LUN的关系

RAID由几个硬盘组成，从整体上看相当于由多个硬盘组成的一个大的物理卷。物理卷无法直接供主机使用，在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元，这些逻辑单元称作LUN（Logical Unit Number），可以作为映射给主机的基本块设备。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h3oA3z4C-1689238887332)(C:\Users\C1YAS0\AppData\Roaming\Typora\typora-user-images\image-20230713161854929.png)]

创建LUN的过程：

4.5文件系统

常见的文件系统：虚拟化集群文件系统、NAS存储文件系统、操作系统文件系统

文件映射到磁盘的过程：

格式化是形成文件系统块的过程。

通过文件系统块找到LVM对应的逻辑区域，逻辑区域记录着文件可以落盘到哪个扇区哪个磁道。通过文件系统，可以实现对文件的应用和查找。

5.虚拟机磁盘介绍

虚拟磁盘在用户视角中与物理机磁盘没有区别，在管理员视角中是一个文件。

常见虚拟机磁盘格式：

虚拟机磁盘文件格式	支持厂商
RAW	各厂商通用
VMDK	VMware
VHD	微软Hyper-V、华为FusionCompute
QCOW	QEMU或KVM虚拟化平台专用的格式
QED	QEMU或KVM虚拟化平台专用的格式
VDI	Oracle