267TB全球卫星影像如何管理?

现在国产卫星企业真的是越来越多了!

就在上周,又有一家企业在网上找到我们谈合作事宜。

在当天下午,我们又约了一次面谈沟通,深感国产卫星行业迸发的蓬勃生机!

这些企业的卫星每天都在天上拍摄,动辄就产生TB级甚至PB级数据量,不知道他们是如何管理如此大数据量的呢?

这里为大家分享一下,我们是如何管理267TB全球海量卫星影像的,仅供大家参考!

第一步:按东西半球分目录

我们将全球卫星影像分成了东西半球两个根文件夹,并分别存储于阵列柜的两个分区中。

西半球数据经度范围为-180度到0度,共102TB大小,如下图所示。   

图片

西半球数据大小

东半球数据经度范围为0到180度,共165TB大小,如下图所示。   

图片

东半球数据大小

第二步:按每4列分目录

基于第12级(如果第0级为2张瓦片则为第10级)瓦片进行分块,因此在该级别下的瓦片共有2048列。

将2048列的分块文件按每4列存储在同一个文件夹中,因此共有512个文件夹,而东西半球就各有256个文件夹。   

图片

西半球256个文件夹

图片

东半球256个文件夹

第三步:每列按12级进行分块

基于第12级瓦片分块的每列共有1024行,即每列有1024个瓦片。

我们将每个瓦片下属的所有瓦片打包为一组DAT文件(即*.dat与*.idx),因此一列就有1024×2=2048个文件。

又因为一个目录中包含了4列,因此每个目录中就会有2048×4=8192个文件。   

图片

西半球数据样例

图片

东半球数据样例

由于东西半球一共分了512个目录,因此全球就有8192×512=4194304个文件。

因为每一个数据分块由两个文件(*.dat与*.idx)构成,因此全球数据划分为了4194304÷2=2097152个文件块。   

我们采用先分东西半球,再分列目录和分块打包存储的方法,非常有利于数据的管理。

无论是数据更新、按范围提取数据块、按区域导出提取卫星影像和发布调用都非常方便。

如何更新卫星影像数据?

由于卫星影像是分块存的,因此当需要更新卫星影像时,只需要把目标区域所属的文件块(*.dat与*.idx)整个替换即可。

例如成都市成华区的卫星影像如果有更新,我们只需要先在水经微图中打开显示瓦片网格。

然后查看目标区域所对应的12级所属瓦片编号,如下图所示。

图片

成都市成华区

最后,将新的卫星影像或航拍影像制作为DAT文件,并以瓦片编号命名,然后替换原有文件即可。   

如何按范围提取数据块?

全球卫星影像动辄几百TB甚至上PB,那么要如何才能提取全国或一个省份的离线DAT卫星影像数据呢?

我们为此提供了一个简易的DAT文件COPY复制工具。

你只需要有一个SHP格式的范围文件,并指定数据源目录与存储目录即可拷贝提取。

我们经常用它从全球数据中,为客户提取全国、某省或其它国家范围的卫星影像数据,示例如下图所示。

图片

数据COPY工具示例

虽然操作很简单,但我们还是特意撰写了“水经注DAT文件COPY复制命令生成工具_使用说明”的文档,以方便大家的使用!

图片

COPY复制工具使用说明

如何浏览查看全球数据?

我们在前文提到了如何按范围提取COPY离线DAT文件的方法,而提取出来的DAT文件是可以通过水经微图进行离线查看的。

只需要在自定义地图对话框中,设置好数据所在路径即可,如下图所示。   

图片

离线查看设置

当然,也可以设置为全球数据所在的路径,这样就可以离线浏览查看全球范围的卫星影像了。

由于离线数据在本地,其浏览查看卫星影像时会比在线查看更快、更流畅!

如何导出提取卫星影像?

当可以在水经微图中离线查看卫星时,也可以像下载在线地图一样进行离线下载。   

图片

离线下载

离线下载卫星影像的方式有多种,可以通过框选下载,也可能通过行政区划等其它方式进行下载。

下载后的卫星影像,可以导出为瓦片,也可以拼接导出为大图,使用非常方便!

如何快速发布全球影像?

虽然全球卫星影像可以通过水经微图离线浏览查看,甚至是很方便的下载导出,但只能在一台电脑上操作。

那有没有一种方法,让内网所有人都可以很方便地浏览查看卫星影像呢?

答案是肯定的!

我们可以通过《水经注地图服务》(WeServer)在内网离线发布全球数据,然后再通过水经微图进行加载显示,类似配置如下图所示。   

图片

从内网服务器加载

这就相当于在内网构建了一台全球地图服务器,只需要把水经微图作为一个地图客户端浏览查看即可。

这样一来,任何人都可以在内网很方便离线查看下载卫星影像,并可以导出想要的数据区域为TIF图片或瓦片等,让大家使用卫星影像就极为方便!

如何在第三方软件中调用?

通过《水经注地图服务》(WeServer)发布之后,除了可以在水经微图中调用外,还可以在第三方GIS平台中进行调用。

由于发布的地图完全遵守OGC规范的WMTS服务以及TMS服务,因此可以通过第三方软件或平台调用,快速构建一个离线二维或三维地球GIS系统。   

第三方软件或平台包括但不限于OsgEarth、Cesium、Cesium for Unreal、OpenLayers、ArcMap、QIGS、GlobalMapper、ArcGIS API for JavaScript等。

这些平台中的部分加载效果,如下图所示。

图片

OsgEarth中的加载效果

图片

Cesium中的加载效果  

图片

OpenLayers中的加载效果

图片

ArcMap中的加载效果

图片

QGIS中的加载效果

图片

ArcGIS API for JavaScript中的加载效果

如果需要更详细说明教程,也可以在《水经注地图服务》(WeServer)的帮助文档中查阅。   

图片

《水经注地图服务》帮助文档

如果你还没有安装《水经注地图服务》(WeServer),请到水经注官方网站下载安装。

写在最后

本文为大家分享了关于全球海量卫星影像如何管理,以及如何更新、提取、发布和调用的经验。

该经验同样适用于航拍图的管理,只是需要一个切片入库的过程,有机会我们再单独撰文分享。

这是我们从多年实践中总结出来的经验,并配套开发了相应的工具和产品,值得大家参考借鉴。   

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/257291.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用Python实现的Excel像素画

简介:本项目主要使用python语言,将图片转为 Excel,图片中的每一个像素转化为 Excel 中的每一个单元格。主要使用pillow和xlsxwriter这两个模块。项目使用一个python文件即可。 一:项目功能和流程介绍 项目的主要功能&#xff1a…

2023年5个自动化EDA库推荐

EDA或探索性数据分析是一项耗时的工作,但是由于EDA是不可避免的,所以Python出现了很多自动化库来减少执行分析所需的时间。EDA的主要目标不是制作花哨的图形或创建彩色的图形,而是获得对数据集的理解,并获得对变量之间的分布和相关…

如何将Word中的表格图片转换为可编辑格式?

我们都知道,Word中的表格是一个非常有用的工具,可以让我们在文档中轻松添加和编辑各种数据。但有时候我们可能会遇到一个问题:当表格作为图片插入时,我们就不能直接编辑它了。这可怎么办呢? 别担心,我们有…

小电流MOSFET 选型分析数据,可应用于电子烟,电动工具,智能穿戴等产品上

小电流双N,D-N通道MOSFET,电压60V-100V左右 电流300mA-500MA,采用封装形式多样。具有低导通电阻,可快速切换速度,易于设计的驱动电路也易于并联,ESD保护,低电压驱动使该器件非常适合便携式设备…

PHP使用mkcert本地开发生成HTTPS证书 PhpEnv集成环境

PHP使用mkcert本地开发生成HTTPS证书 PhpEnv集成环境 前言一、介绍 mkcert二、安装/使用 mkcert1. 安装2. 使用 总结 前言 本地开发时有些功能只有在 https 证书的情况下才能使用, 例如一些 Web API 一、介绍 mkcert Github地址 mkcert 是一个制作本地可信开发证书的简单工具。…

2024年度AI策略报告:AI浪潮扬帆起航,传媒应用百花齐放

今天分享的人工智能系列深度研究报告:《2024年度AI策略报告:AI浪潮扬帆起航,传媒应用百花齐放》。 (报告出品方:兴业证券) 报告共计:52页 1、行情回顾:板块处于较低区间&#xff0…

编程怎么学才能快速入门,分享一款中文编程工具快速学习编程思路,中文编程工具之分组框构件简介

一、前言: 零基础自学编程,中文编程工具下载,中文编程工具构件之扩展系统菜单构件教程 编程系统化教程链接 https://jywxz.blog.csdn.net/article/details/134073098?spm1001.2014.3001.5502 给大家分享一款中文编程工具,零基础…

深度学习训练过程自查:为什么我的模型不收敛/表现不佳?

代码终于写完了,bug 处理好了,终于跑起来了。但是模型不收敛。或者收敛了,但是加 trick 也表现不良。看着这个精心编写的辣鸡模型,从内心深处生出一股恨铁不成钢的悲愤。 于是开始思考,为什么?哪里出了问题…

【TwinCAT学习笔记 1】TwinCAT开发环境搭建

写在前面 作为技术开发人员,开启任何一项开发工作之前,首先都要搭建好开发环境,所谓磨刀不误砍材工,一定要有耐心,一次不行卸载再装。我曾遇到过一个学生,仅搭建环境就用了两周,这个过程也是一…

AI创作系统ChatGPT网站源码,AI绘画,支持GPT联网提问/即将支持TSS语音对话功能

一、AI创作系统 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型国内AI全模型。本期针对源码系统整体测试下来非常完美,可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI…

mybatis数据输出-map类型输出

1、建库建表 create table emp (empNo varchar(10) null,empName varchar(100) null,sal int null,deptno varchar(10) null ); 2、pom.xml <dependencies><dependency><groupId>org.mybatis</groupId><artifactId>mybatis<…

centOS使用docker部署ElasticSearch和Kibana

一、docker部署ElasticSearch 1、创建网桥 docker network create xybnet 2、下载镜像 docker pull elasticsearch:8.2.0 3、先运行容器 docker run -d \ --name es \ --net xybnet \ -p 9200:9200 \ -p 9300:9300 \ -p 5601:5601 \ -e "discovery.typesing…