以 RoCE+软件定义存储同时实现信创转型与架构升级

目前,不少企业数据中心使用 FC 交换机和集中式 SAN 存储(以下简称“FC-SAN 架构”),支持核心业务系统、数据库、AI/ML 等高性能业务场景。而在开展 IT 基础架构信创转型时,很多用户受限于国外交换机:FC 交换机市场几乎被 Broadcom 和 Cisco 等国外厂商垄断,很难找到成熟的国产替代方案。

而随着 RoCE(RDMA over Converged Ethernet) 这一高性能网络技术的日渐成熟,以太网交换机 + NVMe-oF 或成为破局关键:由于 RoCE 通过以太网使用 RDMA(Remote Direct Memory Access)网络协议,用户可以使用国产以太网交换机替代 FC 交换机;搭配支持 NVMe over RDMA(RoCE v2)和信创 CPU 架构的分布式存储,即可同步实现 IT 基础架构的信创转型与架构升级,满足核心业务应用“高性能、低延迟”的需求。

以下将结合权威机构趋势报告和行业用户实践,讨论这一转型方案的可行性。

替代可行性:技术成熟度与信创实践难度分析

技术成熟度:RoCE 成主流 RDMA 实现方案,NVMe-oF(RoCE)获多厂商与权威机构青睐

传统以太网采用 TCP/IP 作为网络传输协议。由于 TCP/IP 协议栈处理带来的延迟较长、服务器 CPU 消耗更高,本质上属于有损网络,其性能一直比不过 FC 网络,这也是为什么企业多采用 FC-SAN 架构支持高性能应用场景。而 RDMA 技术的出现,为解决 TCP/IP 的缺陷,提供了一种全新且高效的解决思路:通过直接内存访问技术,数据从一个系统快速移动到远程系统的内存中,无需经过内核网络协议栈,无需双方操作系统的介入,最终达到高带宽、低延迟和低 CPU 资源占用的效果。

RoCE 正在成为主流的 RDMA 实现方案。相比更早出现的 InfiniBand 技术,RoCE 支持无损以太网部署,无需使用专有网络(IB),成本也更低。虽然 RoCE 在诞生之初有诸多不足, 但经过 10 多年的发展,目前的 RoCE v2 技术已具备路由能力,且在性能表现上已经达到与 InfiniBand 相同甚至更高的水平。Mellanox 发布的《RoCE in the Data Center》白皮书明确表示,直到 RoCE 的出现与成熟,RDMA 才在基于以太网的数据中心得到大规模的应用,为数据中心业务带来低延迟、高性能的体验。中国移动发布的《以太无损网络测试技术白皮书》也指出,“在高性能计算和存储场景中,基于 RoCE 技术构建数据中心网络已成为主流解决方案之一,该方案融合了 RDMA 和以太网的优势”。

roce-sds-ethernet-switch-xc-1.png

RDMA 三种实现方案对比

目前国际主流的网卡与适配器制造商,如 Intel、Mellanox、Cisco、Broadcom 等,均提供以 RoCE v2 技术实现 RDMA 能力的产品和方案。众多主流云服务商,如 Microsoft – Azure 和 Orcale – Oracle Cloud Infrastructure(OCI)也利用 RoCE 提升方案网络性能。例如,OCI 利用英伟达 ConnectX SmartNICs 和 RoCE 技术构建支持弹性扩展与低延迟的高性能网络,为高性能计算、GPU、AI/ML、Oracle 数据库等场景提供高性能网络能力。国内厂商浪潮也帮助用户基于 Kubernetes 和 RoCE v2 构建 AI 训练集群,提升整体运算性能。可以看出,以 RoCE 支持核心业务场景(尤其是高性能业务场景),已得到业内广泛认可。

虽然 RoCE 对以太网交换机没有能力要求(仅要求网卡支持 RoCE),但要求存储产品提供 RDMA/RoCE 支持。其中应用最广泛的技术之一就是 NVMe-oF(NVMe over Fabrics)。NVMe-oF 是一种数据接入协议,将 NVMe 在单系统内部提供的高性能、低延迟和极低的协议开销等优势,进一步发挥到客户端与存储系统互联的网络结构当中。

Gartner 在《Top Trends in Enterprise Data Storage 2023》报告中指出,NVMe-oF 是块存储领域未来发展的三大重点之一:“NVMe-oF 方案适用于基于 NVMe 硬盘的低延迟应用场景 … 该技术可充分满足应用对高性能和灵活扩展的存储能力要求。同时,在分布式和软硬件解耦的平台上, NVMe-oF 可进一步发挥和增强存储系统的能力。”

根据 Gartner 的预测,到 2027 年,至少 25% 的企业都会使用 NVMe-oF 进一步提升存储性能,以支持 AI/ML、HPC、数据库、金融核心交易系统等高性能应用场景NVMe-oF 支持多种传输层协议,包括 FC(NVMe over FC)、RDMA(NVMe over RDMA)和 TCP(NVMe over TCP)。其中,NVMe over FC 基于传统的 FC 网络,并不适合信创采用。Gartner 在《Competitive Landscape: Innovative All-Flash Array Offerings Architected for the Data-Centric Era》调研中也发现,大部分存储厂商对 NVMe-oF 的支持集中在 NVMe over RDMA/RoCE 和 NVMe over TCP 这两种方案上。而相比 TCP 而言,RDMA/RoCE 可以提供更好的性能,因此数据中心更适合采用 NVMe over RDMA/RoCE,支持对性能和延迟敏感的业务。

现阶段,NVMe over RDMA/RoCE 的应用情况如何?目前,国内用户常见的主流存储厂商,包括 VMware vSphere+vSAN、Dell EMC、IBM、华为 OceanStor、志凌海纳 SmartX 等,均提供支持 NVMe over RDMA/RoCE 的方案/版本,且在国内已具备实践案例(在下文展开解读),充分证明了技术的成熟与可靠性。

信创实践难度:信创以太网交换机与存储方案成熟,行业头部用户已实现转型

“以太网交换机+支持 RoCE 的存储”在技术上可以实现 FC 交换机的信创替代,在实践层面可行吗?有信创方案和实践支持吗?

  • 以太网交换机:国产以太网交换机已经比较成熟了,国内厂商如华为、H3C、锐捷等均可提供国产替代方案。
  • 支持 RoCE 的网卡:国内品牌如华为可提供 25GbE 支持 RoCE v2 的自研网卡产品,但对于更高带宽的使用场景,目前的主流选择还是 Intel、Mellanox 等厂商产品。不过这些非国产品牌的网卡,目前仍在信创场景中普遍使用,且可通过信创验收,因此暂不影响用户的选择和使用。
  • 支持 RoCE 的 SAN 存储:国内厂商如华为 OceanStor 的部分高端集中式存储可支持 NVMe over RDMA(RoCE v2)。

另外可以看到,一些国内企业,如中国工商银行、中国移动、中国银行等行业头部用户,已经先行一步,基于 NVMe over RoCE 技术开展了高性能存储网络转型。例如,中国工商银行在深入调研高性能网络、存储基础设施等技术及产业应用发展情况后,选定 NVMe over RoCE 技术作为金融高性能存储网络的技术路线,率先建成 RoCE-SAN 高性能存储网络体系的“多地多中心”高可用架构,并进入规模化推广应用阶段,有效缓解金融广域骨干网流量压力并降低成本。详细实践经验可参考:工商银行率先完成金融高性能存储网络体系重构。

不过类似工行的转型实践,是将 FC-SAN 架构替换为 RoCE-SAN,即不改变底层集中式存储架构,利用 RoCE-SAN 插件实现以太网交换机的替代。还有一种方式是采用软件定义的存储——存算分离架构的分布式存储或超融合。这种“新一代数据基础设施”搭配 RoCE,同样能实现 FC 交换机的信创转型,同时提供更好的性能和灵活扩展能力,为高性能应用和新业务的快速上线提供敏捷支持。

RoCE + 软件定义的分布式存储:补齐短板,相辅相成

作为一种现代化存储,软件定义的分布式存储将存储资源池化,并将数据分散放置在多个节点中,节点通过网络互连提供存储服务,从而充分与存储硬件解耦,并提升存储资源利用率和扩展能力。虽然分布式架构消除了集中式存储控制器瓶颈,使得并发性能能够随节点的增加而线性增长,但由于基于 TCP/IP 协议栈的 iSCSI 依然是分布式存储主流的接入方法之一,其对 NVMe 新型存储介质的支持已略显疲态,难以充分满足高性能应用对“低延迟”的要求。

以 NVMe over RDMA(RoCE)搭配软件定义的分布式存储,不仅可以实现低延迟极速网络传输,还可以充分发挥分布式存储高性能、易扩展的优势,让用户在开展 IT 基础架构信创转型的同时,实现基础设施的现代化转型。

国内已有不少用户基于这种方案构建信创基础设施,为前沿应用提供高性能、低延迟支持。例如,复旦大学为了构建云上科研智能计算平台,利用支持 RDMA(RoCE)的信创超融合平台(基于分布式存储)提升性能与数据传输效率。经测试,配置 RDMA 后,流量带宽从 6GB 提升至 19GB(提升 217%),可充分满足科学计算的性能需求。详细实践经验可参考:复旦大学 CFFF 计算平台项目高速数据交换平台实践。

替代方案优势总结

  • 同时实现信创转型与架构升级:以标准以太网交换机和支持 NVMe over RDMA(RoCE)的存储方案替代 FC 交换机,可避免 FC 交换机使用问题;同时以更精简的分布式存储架构替代集中式 SAN 存储,可进一步实现 IT 基础架构的现代化升级。若采用 SmartX 分布式存储/超融合,用户还可使用 海光、鲲鹏等信创 CPU 和 Kubernetes 平台,完善信创转型与容器化升级。 
  • 提供“高性能”“低延迟”存储支持:软件定义的分布式存储搭配 RDMA 协议,可在提升存储性能的同时降低网络延迟,充分满足高性能业务场景需求。
  • 降低成本与运维压力:以性价比更高的以太网交换机和分布式存储替代 FC 交换机和高端存储,节约成本的同时可有效降低运维压力。SmartX 还提供超融合部署方式,进一步精简架构和运维。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/316603.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

地平面--高速布线

https://baijiahao.baidu.com/s?id1764139038516816855&wfrspider&forpc 概念 回顾传输线,由任意两条有一定长度的导线组成,一条为信号路径,一条为返回路径。基本电路理论告诉我们,信号是由电流传播的,明确的…

swing快速入门(三十六)分割面板

🥁注释很详细,直接上代码 上一篇 🔒新增内容: 🗝️1.列表选中事件监听器 🗝️2. 分割面板的垂直和水平方式创建 🗝️3.“一触即展”特性开关 🗝️4.分割面板大小自适应 &#…

关于“Python”的核心知识点整理大全58

目录 19.2.3 注销 1. 注销URL urls.py 2. 视图函数logout_view() views.py 3. 链接到注销视图 base.html 19.2.4 注册页面 1. 注册页面的URL模式 urls.py 2. 视图函数register() views.py 3. 注册模板 register.html 4. 链接到注册页面 base.html 注意 19.3 …

【error C2146: 语法错误: 缺少“;”(在标识符“PVOID64”的前面)】

用VS2013编译报错: 有人说既然是找不到PVOID64加个typedef就行了。经过本人的试验发现,的确是vs的include顺序问题,调整include顺序保证dx目录在IncludePath目录的下面即可解决问题。 在vs中,选择工具->选项->项目和解决方…

【unity插件】推荐一款开源的Unity网格破碎插件,实现在Unity中展示可破坏的墙壁的——unity-fracture

最终效果 地址 https://github.com/ElasticSea/unity-fracture 介绍 FractureThis.cs 脚本获取其游戏对象中的所有网格并合并它们。这个全局网格被发送到这里 nvblast ,以分解成块。块的内部部分为要应用的材料生成了新的 UV。原始游戏对象被隐藏,每个…

详解静态网页数据获取以及浏览器数据和网络数据交互流程-Python

目录 前言 一、静态网页数据 二、网址通讯流程 1.DNS查询 2.建立连接 3.发送HTTP请求 4.服务器处理请求 5.服务器响应 6.渲染页面 7.页面交互 三、URL/POST/GET 1.URL 2.GET 形式 3.POST 形式 四.获取静态网页数据 1.requests库 点关注,防走丢&am…

关于“Python”的核心知识点整理大全50

目录 python_repos.py 17.1.6 概述最受欢迎的仓库 python_repos.py 17.1.7 监视 API 的速率限制 注意 17.2 使用 Pygal 可视化仓库 python_repos.py 17.2.1 改进 Pygal 图表 python_repos.py 往期快速传送门👆(在文章最后)&#xf…

2 Windows网络编程

1 基础概念 1.1 socket概念 Socket 的原意是“插座”,在计算机通信领域,socket 被翻译为“套接字”,它是计算机之间进行通信的一种约定或一种方式。Socket本质上是一个抽象层,它是一组用于网络通信的API,包括了一系列…

放弃努力必然下滑的2024

知道和做到,这其中有一道鸿沟。 努力不一定会成功,但是不努力连成功的概率都不会有。 问题 之前有朋友看过我的一些博文,问:"我如果不坚持写,仅靠存量能否维持一段时间?" "我如果不坚持写&#xff0c…

Kafka安全认证机制详解之SASL_PLAIN

一、概述 官方文档: https://kafka.apache.org/documentation/#security 在官方文档中,kafka有五种加密认证方式,分别如下: SSL:用于测试环境SASL/GSSAPI (Kerberos) :使用kerberos认证,密码是…

ElasticSearch自定义算分排序(Function Score Query)

使用 function score query,可以修改文档的相关性算分 (query score),根据新得到的算分排序。 目录 Function Score Query 案例 Function Score Query 几种默认的计算分值的函数: Weight:为每一个文档设置一个简单而不被规范化的权重Fie…

运维工程师的出路到底在哪里?

欢迎关注博主 Mindtechnist 或加入【智能科技社区】一起学习和分享Linux、C、C、Python、Matlab,机器人运动控制、多机器人协作,智能优化算法,贝叶斯滤波与Kalman估计、多传感器信息融合,机器学习,人工智能&#xff0c…