【云平台】云平台存储主要路线比较分析:存储虚拟化、分布式存储、网络共享文件存储

news/2025/1/22 21:22:02/文章来源:https://www.cnblogs.com/o-O-oO/p/18686823

# 信创 # 金融领域 # 云平台

【摘要】随着金融数字化转型的推进和深入,大家在选择云架构时开始考虑的更长远、更谨慎。一方面会从企业级、集团级和行业级整体发展演进的眼光进行整体规划,避免出现云或资源池的孤岛林立:另一方面采用自主可控的信创云架构也成为众多金融企业的重要抉择。本文对云平台存储数据的类型、云平台存储路线的选型进行了分析比较。

【作者】程宗憬,银行资深工程师

引言

时下,信创已成为了我国社会经济发展最关键的一环,而在推进信创产业发展的过程中,“云”起着承上启下的核心作用。随着数字经济时代到来,金融领域对信息技术软硬件的依赖程度不断加深,为云服务行业发展提供良好的发展契机。随着金融数字化转型的推进和深入,大家在选择云架构时开始考虑的更长远、更谨慎。一方面会从企业级、集团级和行业级整体发展演进的眼光进行整体规划,避免出现云或资源池的孤岛林立:另一方面采用自主可控的信创云架构也成为众多金融企业的重要抉择。下文就信创云平台存储路线的选型做一些探讨。

一、云平台存储数据的类型

从数据格式来看,一般云平台数据存储通常可以分为块存储、文件存储、对象存储三个种类。不同类型的存储技术在云平台中有不同的特点和适用场景。企业应根据自身的业务需求和数据特点,选择最合适的存储类型,以满足数据的安全、高性能、可扩展性和成本效益等要求。但在实际环境中,一般以使用场景作为区别主要包括虚拟机存储、数据库存储、非结构化数据存储等。

1.1 虚拟机存储

虚拟机存储是指用于存储虚拟机镜像、操作系统、应用程序和用户数据的存储。一般而言,虚拟机存储较大且普遍超过10GB,单个虚机的IOPS时延要求较低,同时可用性要求较高。企业中虚拟机的数量一般成百上千台,大量存储需求为企业配置云存储带来了挑战。
从使用角度虚机存储又可分为如下几类。

(1)虚拟机存储,虚拟机磁盘是虚拟机的主要存储介质,用于保存虚拟机的操作系统、应用程序和用户数据。

(2)镜像存储,用于保存虚拟机镜像,包括预定义的虚拟机模板、操作系统映像和应用程序镜像。

(3)快照存储,用于保存虚拟机快照,它是虚拟机当前状态的备份,可以在需要时快速还原虚拟机到之前的状态。

(4)备份存储,用于保存虚拟机的备份数据,备份存储是对虚拟机磁盘和数据的定期备份,以确保数据的安全性和可靠性。

(5)冷存储,用于保存不常用的虚拟机或数据,这些数据很少被访问,但需要长期保存。

在选择云平台存储技术路线时应充分考虑需求与成本之间的关系。主要考虑因素包括如下几个方面。

(1)性能,虚拟机存储的性能直接影响虚拟机的运行效率和响应时间。对于需要高性能的应用程序,需要选择具备高性能的虚拟机存储,这部分需求成本较高。

(2)可用性,虚拟机存储应具备高可用性,确保虚拟机和数据的持久性,冗余和备份机制是确保虚拟机存储可用性的关键。

(3)成本效益,不同类型的虚拟机存储解决方案在成本上可能有较大差异。企业应根据实际需求和预算限制,选择最符合成本效益的云平台存储方案。

因此,在实际的建设中可考虑,构建统一管理的不同类别资源池,同时每个资源池支持动态拓展,并有效提升存储资源的管理和使用效率。结合虚拟机存储的使用特点,存储资源池可使用SSD、SAS接口的磁盘甚至SATA接口的磁盘。

1.2 数据库存储

数据库存储是一种用于存储和管理数据库数据的存储系统。云平台提供各种类型的数据库存储服务,包括关系型数据库、非关系型数据库和数据仓库等。云平台数据库存储通常支持多种数据库引擎,满足不同应用的需求。

(1)弹性扩展,允许根据业务需求进行弹性扩展,自动调整存储容量和计算资源。这使得数据库能够适应不断增长的数据量和访问负载,无需手动干预。

(2)高可用性和冗余,通常提供高可用性和冗余机制,数据会被自动复制到多个存储节点或数据中心,以防止数据丢失和灾难性故障。

(3)安全性和权限管理,需要重视数据的安全性,提供数据加密和访问控制等安全特性,可以对数据库进行权限管理,限制不同用户或角色的访问权限。

企业在选择云平台数据库存储时,首先要明确业务需求。不同类型的数据库适用于不同的应用场景,关系型数据库适合事务处理,而非关系型数据库适合处理大规模的非结构化数据。同时也要考虑性能,根据应用的性能要求选择合适的数据库存储。关系型数据库通常具有较高的事务处理能力,而非关系型数据库则更擅长处理大量的并发读写操作。云平台数据库存储的高可用性和冗余机制对于关键业务非常重要。企业需要确保所选择的数据库存储能够提供高可用性和数据备份能力,以防止数据丢失和业务中断。当然,从控制成本的角度,需要根据实际预算来选择合适的数据库存储服务。

1.3 非结构化数据存储

NAS、分布式文件存储和对象存储都是非结构化数据存储管理可采用的技术。如果数据不是大容量、对性能和高可用有要求,通常采用NAS存储,例如在容器云环境实现持久化存储。如果数据是视频等大容量数据、数据量超大如达到PB级以上,应用支持S3协议,对象存储的扩展性更好、维护成本更低,例如在容器云环境实现日志数据归档。

二、云平台存储主要路线

2.1 存储虚拟化

存储虚拟化是在云计算环境下,将底层的物理存储设备抽象为逻辑存储池,以提供更加灵活、高效和简化的存储资源管理和配置。通过存储虚拟化,企业可以实现对不同存储设备的集中管理,并将其汇聚成统一的存储池,使得存储资源的利用率得到提高,数据的迁移和调整变得更加便捷。其实现方式更多的是对传统块存储(SAN)的虚拟化。而为了更好的实现异构存储的统一纳管,一般采用统一存储网关实现存储的虚拟化。

存储虚拟化网关是一种连接本地存储与云存储之间的中间层,将本地存储资源与云存储服务进行无缝集成。它充当了本地存储和云存储之间的桥梁,使得企业可以通过统一的接口来管理和访问不同存储系统的数据。云存储需求中数据的备份迁移、复制及同步、集中管理、数据安全甚至是协议转换均可通过虚拟化网关实现。存储虚拟化网关的好处在于它可以帮助企业充分利用现有的本地存储资源,并将其扩展到云存储中,从而实现存储资源的高效管理和利用。不足之处就是在海量并发数据请求下,存储虚拟化网关作为一个中间层,可能会引入性能瓶颈,尤其是在数据传输和处理方面;引入了单点故障,网关的故障将会对整个存储系统的可用性;增加成本,从设备的采购、配置管理等均加大了企业的投入。

综上,存储虚拟化的主要的使用场景还是在传统IT环境及私有云环境。自然面向的也是高IO负载,低读写延迟等重要应用业务环境,比如数据库。是对传统集中式存储的一种升级及扩展。

2.2 分布式存储

分布式存储是相对于集中式存储而言的。它将数据分散存储在多个节点或设备上,而不是集中存储在单一的存储设备中。在云平台中,分布式存储是较为常见的数据存储方式,特别适用于大规模的数据存储和处理场景。

相对于集中式的存储虚拟化而言,分布式存储包含;①高可用性,分布式存储将数据副本分散到多个节点上,当某个节点发生故障时,其他节点可以继续提供数据访问和服务,从而保障了系统的可用性;②性能提升,允许数据在多个节点上并行访问,从而提高数据读写速度和系统整体性能;③数据冗余,数据在多个节点上存储多副本,提供数据冗余,防止数据丢失和损坏。不足之处则是系统相对复杂;数据的一致性保障具有一定的困难,多副本之间的数据一致性对分布式存储系统来说,是一个大的挑战,同时多副本强一致的要求也会给存储系统带来网络延迟的问题。

因此,分布式存储多适用于需要存储大规模数据和进行复杂数据处理的场景,如大数据分析、人工智能应用等;同时可用于云平台需要分布式存储来支撑大量用户的数据存储和访问需求场景。分布式存储和对象存储是包含关系,分布式存储是一种存储节点的物理组织形态,分布式存储可以提供块、文件、和对象存储服务。对象存储是一种基于对象的存储模型,它赋予每个对象唯一的标识符,而不像传统的文件系统以层级目录结构存储。在分布式对象存储服务中,数据被分散存储在多个节点或设备上,实现数据的高可用性和可靠性。

2.3 网络共享文件存储

这里提一下云平台也比较常用的NAS数据存储。NAS存储专门用于存储共享数据,通过网络为多个用户及客户端提供文件级别的存储和访问服务。一般使用独立的硬件设备作为一种云服务使用。

实际应用中,有部分数据存储的场景更加适合以太网传输,也更适合以文件系统为载体。存储虚拟化的数据要想实现跨地域的传输,在成本上、灵活性上都显得异常困难。因此在对存储技术路线进行选型时,必须要考虑这部分数据存储的需求。

综上,在云平台中进行数据存储路线的选型是一个关键且复杂的任务,涉及到数据的安全性、性能、可扩展性和成本效益等方面。首先要明确企业或用户的数据类型,包括结构化数据、非结构化数据和半结构化数据等。确定数据的访问频率、并发用户数以及读写操作等,这些因素将影响存储系统的性能要求;考虑数据的安全,特别对于敏感数据;根据数据特点和需求,可以选择不同类型的存储技术,存储虚拟化、NAS网络存储或分布式存储等。还要考虑使用本地存储设备还是云存储服务,或者结合两者的混合存储方式;考虑性能要求,根据数据访问需求和应用程序的要求,选择适当的存储性能,包括读写速度、IOPS等。

*本公众号所发布内容仅代表作者观点,不代表社区立场

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/873426.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2025临沂一中强基考试游记

大烂特烂,故作此篇。 友情出演:王茂 *:八下年级rk1、常年年级前五。 范明 *:实力不详,遇强则强,至少比我强。 张晨 *:考过全区rk1,磕头。 公续 *、刘子 *:仅次于王张的大神。 韩梓 *:六边形战士。 张嘉 *、左世 *:实力不是很清楚( 比我强就对了Day -2 被我妈施压了…

对象池框架 commons pool2 原理与实践

当资源对象的创建/销毁比较耗时的场景下,可以通过"池化"技术,达到资源的复用,以此来减少系统的开销、增大系统吞吐量,比如数据库连接池、线程池、Redis 连接池等都是使用的该方式。 Apache Commons Pool 提供了通用对象池的实现,用于管理和复用对象,以提高系统…

20252025临沂一中强基考试游记

大烂特烂,故作此篇。 友情出演:王茂 *:八下年级rk1、常年年级前五 范明 *:实力不详,遇强则强,比我水平高 张晨 *:考过全区rk1,磕头 公续 *、刘子 *:仅次于王张的大神 韩梓 *:六边形战士 张嘉 *、左世 *:实力不是很清楚( 比我强就对了Day -2 被我妈施压了,说是考不…

【大厂文章学习】合并编译的学习与思考

合并编译通过将微服务的远程调用优化为本地函数调用,显著降低CPU开销和容器资源需求,但需权衡服务隔离、版本管理等挑战,适用于资源密集、调用关系紧密的场景。【大厂文章学习】合并编译的学习与思考【微信文章】字节跳动合并编译实践通过将微服务转换为本地函数调用的方式优…

安全帽识别摄像机

安全帽识别摄像机在建筑工地安全管理中具有重要意义。在高空作业、机械作业等危险环境下,佩戴安全帽是保障工人生命安全的重要措施。通过部署这种设备,系统可以实时监测工地内的作业人员,并自动识别出未佩戴安全帽的情况,及时发送警报通知现场管理人员进行处理,有效预防事…

监狱视频监控行为智能预警系统

监狱视频监控行为智能预警系统通过在监狱围墙、监舍、走廊、习艺楼等区域部署摄像机,监狱视频监控行为智能预警系统实现了对监狱内部的全方位、全天候监测。系统对连续的行为动作进行有效判断精准识别出离床、攀高、独处、倒地、斗殴、徘徊、滞留、逆行、聚众、静坐不动、入厕…

Spring-AOP(面向切面编程)

Spring-AOP(面向切面编程)面向切面编程(Aspect Oriented Programming-AOP)是面向对象编程(Object Oriented Programming-OOP)的一种补充,二者是互补的编程范式。在OOP中,关键单元是类,而在AOP中关键单元则是横切关注点。面向对象编程关注于将现实世界中的实体抽象为对象,并…

Java的控制流程

Java的控制流程 1. Scanner对象Java.util.Scanner 是Java5的新特性,我们可以通过Scanner类来获取用户的输入。 基本语法: Scanner s = new Scanner(System.in); 通过Scanner类的next() 与nextLine()方法获取输入的字符串,在读取我们一般需要 使用 hasNext() 与 hasNextLine…

【Java安全】基础汇总

一、JAVA安全 1.1 java的序列化和反序列化 Java 序列化是指把 Java 对象转换为字节序列的过程ObjectOutputStream类的 writeObject() 方法可以实现序列化 Java 反序列化是指把字节序列恢复为 Java 对象的过程ObjectInputStream 类的 readObject() 方法用于反序列化。 1、序列化…

云计算和服务器

一、云计算概述 ICT是世界电信协会在2001年的全球性会议上提出的综合性概念,ICT分为IT和CT,IT(information technology)信息技术,负责对数据生命周期的管理;CT(communication technology),负责数据的传输管理。 CT技术是ICT技术栈的底核。 1、计算机 计算机是现代一种…

movfuscator学习

demovfuscator docker镜像 - 狗小剩就是利用32位mov的图灵完备性,来代替各种代码(32位汇编太逆天了).如果看到只有mov就知道是这b玩意了,不过这种程序性能肯定不行,代码段也好长.可以利用ida查锁定字节码的范围,查相应的字符串. demovfuscator问题太多了,一个是识别c的代码无法…

中考英语优秀范文-016 How to keep a good relationship with parents 如何与父母保持良好的关系

1 写作要求 某英文报社正就青少年与父母关系这一话题开展题为“How to keep a good relationship with parents”的征文活动。请你根据以下要点, 写一篇80个词左右的英语短文参加此次活动: 1 父母规矩太多, 过于强调学习成绩, 不理解自己等问题; 2 你对这些问题的看法; 3 你与父…