现在国产卫星企业真的是越来越多了!
就在上周,又有一家企业在网上找到我们谈合作事宜。
在当天下午,我们又约了一次面谈沟通,深感国产卫星行业迸发的蓬勃生机!
这些企业的卫星每天都在天上拍摄,动辄就产生TB级甚至PB级数据量,不知道他们是如何管理如此大数据量的呢?
这里为大家分享一下,我们是如何管理267TB全球海量卫星影像的,仅供大家参考!
第一步:按东西半球分目录
我们将全球卫星影像分成了东西半球两个根文件夹,并分别存储于阵列柜的两个分区中。
西半球数据经度范围为-180度到0度,共102TB大小,如下图所示。
西半球数据大小
东半球数据经度范围为0到180度,共165TB大小,如下图所示。
东半球数据大小
第二步:按每4列分目录
基于第12级(如果第0级为2张瓦片则为第10级)瓦片进行分块,因此在该级别下的瓦片共有2048列。
将2048列的分块文件按每4列存储在同一个文件夹中,因此共有512个文件夹,而东西半球就各有256个文件夹。
西半球256个文件夹
东半球256个文件夹
第三步:每列按12级进行分块
基于第12级瓦片分块的每列共有1024行,即每列有1024个瓦片。
我们将每个瓦片下属的所有瓦片打包为一组DAT文件(即*.dat与*.idx),因此一列就有1024×2=2048个文件。
又因为一个目录中包含了4列,因此每个目录中就会有2048×4=8192个文件。
西半球数据样例
东半球数据样例
由于东西半球一共分了512个目录,因此全球就有8192×512=4194304个文件。
因为每一个数据分块由两个文件(*.dat与*.idx)构成,因此全球数据划分为了4194304÷2=2097152个文件块。
我们采用先分东西半球,再分列目录和分块打包存储的方法,非常有利于数据的管理。
无论是数据更新、按范围提取数据块、按区域导出提取卫星影像和发布调用都非常方便。
如何更新卫星影像数据?
由于卫星影像是分块存的,因此当需要更新卫星影像时,只需要把目标区域所属的文件块(*.dat与*.idx)整个替换即可。
例如成都市成华区的卫星影像如果有更新,我们只需要先在水经微图中打开显示瓦片网格。
然后查看目标区域所对应的12级所属瓦片编号,如下图所示。
成都市成华区
最后,将新的卫星影像或航拍影像制作为DAT文件,并以瓦片编号命名,然后替换原有文件即可。
如何按范围提取数据块?
全球卫星影像动辄几百TB甚至上PB,那么要如何才能提取全国或一个省份的离线DAT卫星影像数据呢?
我们为此提供了一个简易的DAT文件COPY复制工具。
你只需要有一个SHP格式的范围文件,并指定数据源目录与存储目录即可拷贝提取。
我们经常用它从全球数据中,为客户提取全国、某省或其它国家范围的卫星影像数据,示例如下图所示。
数据COPY工具示例
虽然操作很简单,但我们还是特意撰写了“水经注DAT文件COPY复制命令生成工具_使用说明”的文档,以方便大家的使用!
COPY复制工具使用说明
如何浏览查看全球数据?
我们在前文提到了如何按范围提取COPY离线DAT文件的方法,而提取出来的DAT文件是可以通过水经微图进行离线查看的。
只需要在自定义地图对话框中,设置好数据所在路径即可,如下图所示。
离线查看设置
当然,也可以设置为全球数据所在的路径,这样就可以离线浏览查看全球范围的卫星影像了。
由于离线数据在本地,其浏览查看卫星影像时会比在线查看更快、更流畅!
如何导出提取卫星影像?
当可以在水经微图中离线查看卫星时,也可以像下载在线地图一样进行离线下载。
离线下载
离线下载卫星影像的方式有多种,可以通过框选下载,也可能通过行政区划等其它方式进行下载。
下载后的卫星影像,可以导出为瓦片,也可以拼接导出为大图,使用非常方便!
如何快速发布全球影像?
虽然全球卫星影像可以通过水经微图离线浏览查看,甚至是很方便的下载导出,但只能在一台电脑上操作。
那有没有一种方法,让内网所有人都可以很方便地浏览查看卫星影像呢?
答案是肯定的!
我们可以通过《水经注地图服务》(WeServer)在内网离线发布全球数据,然后再通过水经微图进行加载显示,类似配置如下图所示。
从内网服务器加载
这就相当于在内网构建了一台全球地图服务器,只需要把水经微图作为一个地图客户端浏览查看即可。
这样一来,任何人都可以在内网很方便离线查看下载卫星影像,并可以导出想要的数据区域为TIF图片或瓦片等,让大家使用卫星影像就极为方便!
如何在第三方软件中调用?
通过《水经注地图服务》(WeServer)发布之后,除了可以在水经微图中调用外,还可以在第三方GIS平台中进行调用。
由于发布的地图完全遵守OGC规范的WMTS服务以及TMS服务,因此可以通过第三方软件或平台调用,快速构建一个离线二维或三维地球GIS系统。
第三方软件或平台包括但不限于OsgEarth、Cesium、Cesium for Unreal、OpenLayers、ArcMap、QIGS、GlobalMapper、ArcGIS API for JavaScript等。
这些平台中的部分加载效果,如下图所示。
OsgEarth中的加载效果
Cesium中的加载效果
OpenLayers中的加载效果
ArcMap中的加载效果
QGIS中的加载效果
ArcGIS API for JavaScript中的加载效果
如果需要更详细说明教程,也可以在《水经注地图服务》(WeServer)的帮助文档中查阅。
《水经注地图服务》帮助文档
如果你还没有安装《水经注地图服务》(WeServer),请到水经注官方网站下载安装。
写在最后
本文为大家分享了关于全球海量卫星影像如何管理,以及如何更新、提取、发布和调用的经验。
该经验同样适用于航拍图的管理,只是需要一个切片入库的过程,有机会我们再单独撰文分享。
这是我们从多年实践中总结出来的经验,并配套开发了相应的工具和产品,值得大家参考借鉴。