FOSS全闪对象存储--与AI/ML相向而行-编程知识

行业解读·需求剖析

目前，随着AI/ML技术得到了快速的发展及应用，AI/ML系统对底层高速数据访问的需求也日趋强烈，虽然当前业界有多种解决方案，但都存在一些成本或性能方面的挑战，就目前常用的文件存储系统来说，对于小型数据集，这种存储方式或许足够有效，但是一旦数据量激增并伴随着频繁的读写混合操作，文件存储的局限性便变得尤为明显。因此，迫切需要一套面向AI/ML的高性能数据存储服务平台，以应对存储系统日趋强烈的高性能、低成本、接口支持全面的需求。

01 AI/ML面临的数据挑战及问题

AI/ML基础设施昂贵

GPU资源及专用高性能存储等基础设施价格高昂，造成大规模AI/ML计算的成本问题。

海量数据处理/访问低效

AI/ML通常需要海量的数据做支撑，这也要求企业有效地存储、管理及高性能访问大量数据。

模型训练/上线时间长

AI/ML数据访问/服务性能减缓了AI/ML模型训练及模型上线时间，影响企业快速构建部署模型的能力。

02 AI/ML所需的存储架构选型标准

总体成本

使用较低成本构建面向AI/ML计算任务的高性能数据访问平台。

性能及协议支持

提供高性能数据访问接口，多数据访问协议兼容（POSIX，S3等）。

数据格式及架构开放

支持透明数据格式（保持原始存储目录和文件格式不变）; 无厂商/技术锁定。

智能数据管理/运维

降低数据管理成本，减少数据运维对训练流程/效率影响（最少数据迁移时间、故障预判、磁盘健康管理、减少运维等）。

信创生态支持/自主可控

全自主的国产化分布式全闪存储软件，具备完全自主知识产权。

国内首款·性能出众

01 针对高性能硬件设计

FOSS对象存储是国内首款面向高性能全闪存硬件的对象存储系统。这意味着它充分利用了高性能硬件的特性，为用户提供了更快的数据访问速度。同时，在冷热数据分层和大比例EC的技术加持下，即提供了高性能读写，又保证了存储可用容量，降低使用成本。

02 高效的智能分层技术

为确保在线数据的卓越性能和低延迟，同时满足离线数据的大规模存储和成本控制需求，FOSS产品设计了创新的分层功能。

第一级缓存——内存缓存，这一关键组件负责迅速响应写请求，显著提升整体性能。通过先进的合并刷盘技术，它能将离散的、随机的小块IO高效地合并为连续的大块IO，再顺序写入到下层存储介质中。这种技术不仅大幅提高系统IOPS，而且智能地聚合写请求，有效减少了HDD硬盘的寻道次数，降低了硬盘的损耗，还延长了硬盘的使用寿命。

第二级缓存——闪存缓存，不仅加速了数据的读写速度，而且利用其独特的保电特性，确保新写入数据在闪存盘上的即时存储即可视为数据安全的标志。这意味着一旦数据成功写入闪存盘，客户端会立即收到写操作成功的反馈，无需等待数据进一步写入硬盘。

这套先进的存储系统采纳了两级缓存技术，显著提升了数据存储和访问的效率。

03 多样化协议支持

提供高性能数据访问接口，兼容多种访问协议（S3，POSIX，NFS等）。AI应用场景通常涉及数据处理的多协议和长链路，并且往往是混合负载交织在一起，存在多个数据集之间来回拷贝，这样不仅数据处理效率低下，性能也无法满足AI应用的使用需求，因此协议的融合兼容，可以免去大量的数据复制，让数据处理的效率大幅提升。

04 易于管理和维护

FOSS对象存储具有简洁明了的管理界面、多维度的系统健康状态监控、智能的链路慢查询及磁盘健康监测等，降低了产品使用门槛，无需在多个管理平台反复切换，使得管理员能够更轻松地管理和维护存储系统。

05 绿色低碳与高性能

AI/ML应用场景驱动了电力需求呈几何级数增长，而FOSS对象存储恰以超大规模数据长期、可靠、绿色低碳、高性能存取为目标。它特别注重在提供高性能的同时，降低能源消耗，符合当前绿色节能的发展趋势，可以依据业务访问需求，智能调度集群，动态选取提供数据访问的Disk，将其他未调度的Disk置于低功耗状态(单片SSD<0.5w)，降低集群功耗，降低数据中心PUE。