我们在今年的双11专场直播中,有幸邀请到了鑫云存储的嘉宾与我们连线,为大家作了一场精彩的分享。
这里,首先感谢鑫云存储对水经注的大力支持!
现在,我们将嘉宾分享的内容进行简单整理,并以图文的方式与大家分享。
(以下第一人称来自鑫云存储高级工程师叶工)
鑫云科技简介
大家好,我是鑫云科技的叶工,非常感谢水经注的邀请,和大家聊一聊GIS系统中的数据存储部分。
首先简单介绍一下我们公司。
鑫云科技是一家企业级存储制造商,主要专注于企业级的图形图像、媒体、视音频领域的专业磁盘阵列解决方案提供商。
现有图像存储,视频中央存储,还有纯国产可控的存储,还有分布式多条产品线。
我们能够提供NAS、SAS和DAS这种文件的存储,快的存储以及对象的存储解决方案,大概是这么几个产品线。
鑫云科技简介
应用领域
目前从存储的核心硬件到底层的系统,我们都可以实现国产化。
右边的这是我们在国产的应用领域,就是政府这些单位,具体就不讲了。
应用领域
PB级容量
产品这一块,我们规格也比较齐全。
从小盘位的8个槽,一直到大的60个槽,这些都属于单机,它的容量目前可以达到PB级别。
就像60盘位,我们配20多T的硬盘的话,他一台就能接近一点1.3个P。
而且它还可以扩展,假如咱们用60不够,我可以再拖一个或者拖两个,那可以实现3、4个PB,它容量是非常大的。
硬盘方面目前主流的是没有限定,所以说也不去捆绑,各大硬盘厂商,包括国产的SSD,我们都做了适配,所以都可以正常使用。
PB级容量
服务单位
这是我们十多年服务的这种视音频、图形图像的使用单位,具体的就不展开讲了。
下面主要介绍鑫云在GIS 信息系统领域中的常用的磁盘阵列,其他产品很多,今天就不介绍了。
服务单位
SS100D系列
那第一款的话,是我们的SS100D系列,叫高速单机直连DAS存储。
它的特点就是单机,另外一个就是高速,速度快。
SS100D系列
GIS系统的数量确实非常庞大,动辄就是几十T上百T,像你刚才说的全球的都是好几十个T。
那采用这种传统的USB,这种移动设备去传输的话,随便都要几个小时,慢的可能还要几天。
主要还有拷贝的时候会中断,所以有时候你拷贝了老半天,断了又得重拷,所以很浪费时间。
还有我们一些软件调用都是非常丝滑的,如果还有一个就是咱们平常的应用场景,它一般可能还会出现这种单点故障,就单个盘挂了。
好多客户就是拿着硬盘,有时候不小心就掉地上,这个情况还真有。
所以数据可靠性,安全保护,都没有得到很好的保障。
对于这种超大容量的场景,它可能一份数据,可能得拷好几个分段来拷贝,那得拷好几个地方,所以他管理也非常不方便。
所以我们鑫云的100D系列的DAS产品,主要就是解决数据安全,稳定可靠跟高速的传输。
所以它非常适合这种大型的像地图这种关于数据类的拷贝、中转、存档的这种场景。
在数据安全方面,我们采用这种RAID的磁盘阵列技术,技术也非常成熟了。
可以通过单重或者双重这种校验的方式实现数据冗余,允许盘一块或者是两块或者是多块同时出现故障,咱们的数据没有任何影响。
所以说安全性可以得到很好的保障,还有可靠性方面,因为磁盘阵列的设计,它本身比咱们服务器的生命周期还要长。
它的平均无故障时间,大部分都是不低于5万个小时,所以它非常稳定可靠,就咱们拷贝的时候,也不用担心它中途中断了。
读写速度是大家比较关心的,现在的话理论上来就是咱们阵列的硬盘,数量越多速度就越快。
举个例子。
8个盘位的这种盘阵,我们的读写带宽可以接近1500,我们图上有一个1700跟1400,主要是前面是写,后面是读,有8个槽,是组的raid5。
下面这张图是24个盘组的raid6,因为盘多了,那出现故障的概率还是比较高的。
所以一般盘多的话,我们会组raid6,那它的读写速度也接近于3.5个G,所以速度是非常快。
你看我们前面有一台电脑,就水经注的软件一般都装在服务器或者工作站里面,然后我们外挂一台,有咱们的盘阵,你调用的话那是很丝滑的。
所以这就是我们在单机的使用过程中,响应要快的这种场景。
SS100D产品参数
SS320G系列
另外还有一款我们的产品是缓存加速,也是组网,刚才是单机,现在是属于组网用的。
组网用的话,就是肯定是涉及到一个比较大的组网环境才用得上。
主要就是解决我们GIS系统在收集,存储管理,跟分析数据的时候,可能涉及到一个数据的共享、分析运算,还有分发等场景。
SS320G系列
比如大家比较熟悉的像大疆,大部分都是卫星级别的,还有像无人机航拍的这种,包括大疆数据很大,它们的数据量很大,它是属于小范围的这种场景。
虽然可以用无人机来解决大疆的制图,像CC,就是Smart3D他们做这种建模,这种软件的配合,这种集群运算,需要非常高的并发的稳定的共享带宽。
因为它的计算节点非常多,目前商业的这种,一般大家每个人都配有百来台的计算节点。
它并发的时候,同时对存储的并发请求非常高,那针对这种场景,我们推出的缓存加速的存储。
并发大,咱们机械盘它有它的缺陷,就是它没办法做到这种随机的,然后高并发的读写。
因为通过机械的方式来寻址,它的响应是比较慢,我们在机械盘,跟内存中间加了一层缓存层,缓存的带宽也是比较高的。
目前这底下的表格,缓存的接口都是PCle14.08倍数的,也就是说它的顺序读写,基本上单块就是可以达到8个GB,写入的话会慢一点,3点多个G。
它的随机的IOP,就是刚才说的高并发访问的时候,主要是体现在IOP上,那个随机读的话,一般都是100多万的IOP,写的话会慢一些几十万。
所以我们单台设备,它可以通过堆叠多块散存的方式,来实现带宽的增长。
然后容量方面,就是单机可以实现60个盘,通过扩展可以实现120或者是240个硬盘,那它的容量就是30个P,大概是个样子。
它的带宽也可以得到很好的提升,因为我们默认配的都是10GB的关口,然后可以升级到40GB,还有100GB的网络接口。
现在主流的大部分是100G的交换机,所以我们会提到100G。
它还有一些共享功能,还有一些权限的控制这些都可以很好的提高工作的效率。
方便他们协同应用,减少数据的重复拷贝,或者就是说资源浪费,实现统一的命名空间,方便后期无缝扩容。
这个是我们的320G系列的一款缓存加速的重组。
多机并行集群计算
适配主流软硬件
在国产化领域我们也做了大量的工作,硬件架构方面我们适配的X86架构,ARM架构跟龙架构。
X86的话,国内主要的就是海光跟兆芯,里面主要用的是英特跟AMD他们那个那条线。
ARM架构主要是有飞腾跟鲲鹏这两个CPU架构,龙芯我们都已经是适配过了。
系统层面上目前可以兼容咱们国产的主流的,像麒麟统信,还有欧拉系统,咱们都已经适配完成。
客户现在好多特定的单位,已经基本上用这些系统,配合我们的产品是也是非常OK的。
适配主流软硬件
这一块是我们存储产品的一个主要功能模块,今天这里就不一一展开去介绍了,有兴趣的朋友可以咨询一下张总,水经注这边。
系统主要功能模块
那我今天的分享就到这里了。
写在最后
鑫云存储是我们合作了多年的单位,我们自己存储360TB全球数据的设备,也是用的鑫云产品。
我们推荐给你的,我们自己也用,而且我们用得还不错,售后服务也很好。
因此,但凡采购我们全球系统的用户,我们首推的就是鑫云存储。
最后,再次感谢鑫云存储对水经注的大力支持!