IoTDB 入门教程①——时序数据库为什么选IoTDB ?

文章目录

  • 一、前文
  • 二、性能排行第一
  • 三、完全开源
  • 四、数据文件TsFile
  • 五、乱序数据高写入
  • 六、其他
  • 七、参考

一、前文

IoTDB入门教程——导读

关注博主的同学都知道,博主在物联网领域深耕多年。

时序数据库,博主已经用过很多,从最早的InfluxDB,到后期的TDengine,以及现在的IoTDB

  • 最早是没得选,只能用InfluxDB。
  • 后面是有的选,换了TDengine。
  • 现在是选择太多,择优选了IoTDB。

各个时序数据库的厂家,随着版本更新,性能越来越强,越来越好用,也越来越易用。

本文主要讲述IoTDB的优势,时序数据库选择困难症的同学可以看看。已经选定IoTDB的同学可以直接看后面的应用实战。

二、性能排行第一

正如俗语所言:“是骡子是马,拉出来遛遛。”

benchANT,一家位于德国的权威机构,专注于云设施和数据库性能评估。

benchANT 数据库性能排行榜链接:https://benchant.com/ranking/database-ranking

Workload Type选择Time Series: DevOps

时序数据的特点显著,包括测量点众多、上报频率高以及数据规模庞大等。

因此,时序数据库面临的挑战也不容小觑:必须保证高频写入的速度、海量数据查询的迅捷以及数据存储成本的优化。

鉴于这些独特的需求,选择性能强大的时序数据库变得至关重要。

毕竟,如果MySQL能够满足这些要求,我们也不会特意去寻找更适合的时序数据库了。

Alt

三、完全开源

  • 从数据文件到分布式,不依赖第三方系统,国产自研,完全开源。

  • Apache 基金会唯一时序数据库 Top-Level 项目Apache / IoTDB。

  • 产学研结合, 拥有 30+ 时序数据管理领域发明专利,在数据库顶会发表 10+ 篇论文。

  • 发源于清华大学,其核心团队成立了天谋科技(北京)有限公司,专注 IoTDB 产品的打磨。

四、数据文件TsFile

物联网时序数据文件格式:Apache / TsFile

众所周知,数据文件如何高效的压缩和读写是数据库设计的一大关键。

而数据文件又处于很底层,大部分数据库厂家不对外提供这方面的资料。

但是IoTDB却把这方面的项目独立出来,成为又一个Apache Top-Level 项目Apache / TsFile。实在是不得不佩服。

TsFile是一种为时间序列数据设计的列式存储文件格式,它支持高效压缩、高读写吞吐量,并且兼容多种框架,如Spark和Flink。TsFile很容易集成到物联网大数据处理框架中。

  • 高效的存储和压缩:TsFile采用了先进的压缩技术来最大限度地减少存储需求,从而减少了磁盘空间消耗并提高了系统效率。
  • 灵活元数据组织管理:TsFile允许在不预先定义模式的情况下直接写入数据,支持数据灵活获取。
  • 高性能时间范围查询:高性能时间范围查询
  • 大数据生态无缝集成:TsFile能够与现有的时间序列数据库(如IoTDB)、数据处理框架(如Spark和Flink)无缝集成。

TsFile API 快速上手

讲到这里又不得不提到TDengine,TDengine虽然版本更新很快,性能也很强。

但是他们底层数据文件也经常修改,不仅2.x与3.x版本的数据文件不兼容,3.0.0.1版本与3.0.2.0版本的数据文件也不兼容。

因为3.0.0.1的底层数据文件不稳定,所以后面版本就及时做了大改,所以导致的不兼容。

底层数据文件不稳定就很容易出现大问题,数据丢失,数据无法正常迁移等等。

这里也没有踩踏TDengine的意思,TDengine也很好,只不过通过对比,感觉IoTDB更好。

一群清华的硕士博士做出来的东西,确实靠谱。

五、乱序数据高写入

IoTDB不仅支持高频的数据写入,还支持乱序数据写入。

乱序数据是指:早产生的数据后到了,晚产生的数据先到了

这是我们在实际应用中经常遇到的场景,会带来一些困扰,虽然不痛,但也很烦。

IoTDB首创了乱序分离存储引擎用独有的顺乱序判断的机制,将顺序数据与乱序数据分开,并通过多种空间合并的方法,去消除乱序数据。

Alt

六、其他

IoTDB不仅功能丰富,而且具有诸多优势和亮点。只不过这些博主目前暂时用不到,所以这里就快速过一下,留个印象,后面实际项目有需要的时候自然会想起来。

  • 全面的端-边-云协同模式:IoTDB支持边缘模式、单机模式以及分布式架构,为用户提供了灵活多样的部署选项。
  • 专为物联网打造:IoTDB拥有设备测点物联网数据模型、IoTLSM物联网存储引擎和IoTConsensus物联网共识协议,确保数据在物联网环境中的高效管理和传输。
  • 卓越的性能表现:通过已有案例展示,IoTDB能够轻松管理亿级序列,实现数千万点/秒的吞吐能力,并提供高达十倍的压缩比,大大提升了数据处理效率。
  • 树形时序数据模型:IoTDB采用树形结构进行时序数据建模,确保这些关键数据能够被有效、有序地管理和查询。
  • 智能分析功能(AINode):IoTDB积极拥抱AI技术,提供了智能化的分析功能。它涵盖了多种适用于时序数据的算法和自研模型,能够实现序列预测、异常检测等高级分析场景,为用户提供深入的洞察力。
  • 强大的处理能力:IoTDB支持丰富的时序特性查询和分析功能,满足用户在各种复杂场景下的数据处理需求。

七、参考

时序数据库IoTDB:功能详解与行业应用

觉得好,就一键三连呗(点赞+收藏+关注)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/660979.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

UNI-APP_拨打电话权限如何去掉,访问文件权限关闭

uniapp上架过程中一直提示:允许“app名”拨打电话和管理通话吗? uniapp配置文件:manifest.json “permissionPhoneState” : {“request” : “none”//拨打电话权限关闭 }, “permissionExternalStorage” : {“request” : “none”//访…

C++-9

C 1.已知C风格的字符串,完成对字符串通过下标访问时的异常处理机制(越界访问) 2.写一个程序,程序包含两个类,类中实现一个成员函数,MyGetChar(), 类A中每调用一 次,按顺序得到一个数字字符,比如第-次调用得…

开源AI名片商城系统小程序:智能管理引领营销新潮流

在当今数字化时代,如何高效地管理客户关系、提升营销效果,成为了企业关注的焦点。开源AI名片商城系统小程序凭借其智能化管理功能,为企业提供了一个全新的解决方案。 一、访客画像:精准洞察,个性化内容培育 该系统能够…

SpringMVC整体工作流程

. 用户发起一个请求,请求首先到达前端控制器前端控制器接收到请求后会调用处理器映射器,由此得知,这个请求该由哪一个Controller来进行处理(并未调用Controller);前端控制器调用处理器适配器,告诉处理器适配器应该要…

能源监控新方案:IEC104转MQTT网关在新能源发电中的应用

需求背景 近些年,我国新能源产业快速发展,光伏、风电等新能源项目高速增长,新能源发电已经成为国家能源结构的重要组成部分。 打造数字化、智能化、信息化的电力物联网系统,实现光伏风电等新能源发电站的远程监控、远程维护是新能…

C++必修:类与对象(二)

✨✨ 欢迎大家来到贝蒂大讲堂✨✨ 🎈🎈养成好习惯,先赞后看哦~🎈🎈 所属专栏:C学习 贝蒂的主页:Betty’s blog 1. 构造函数 1.1. 定义 构造函数是一个特殊的成员函数,名字与类名相…

【webrtc】MessageHandler 6: 基于线程的消息处理:StunRequest实现包发送和超时重传

G:\CDN\rtcCli\m98\src\p2p\base\stun_request.cc使用OnMessage 实现包的发送和包的超时重传StunRequest 一个StunRequest 代表是一个独立的请求的发送STUN消息 要不是发送前构造好的,要不就是按照需要构建的使用StunRequestManager: 每一个STUNRequest 携带一个交互id 写入m…

神经网络反向传播算法

今天我们来看一下神经网络中的反向传播算法,之前介绍了梯度下降与正向传播~ 神经网络的反向传播 专栏:💎实战PyTorch💎 反向传播算法(Back Propagation,简称BP)是一种用于训练神经网络的算…

磺化聚醚醚酮(Sulfonated Polyetheretherketone, SPEEK)纳米纤维膜

磺化聚醚醚酮(Sulfonated Polyetheretherketone, SPEEK)纳米纤维膜是一种具有特殊性能的高分子材料。以下是关于磺化聚醚醚酮纳米纤维膜的一些详细介绍: 性能特点: 高效性:磺化聚醚醚酮膜具有高的CO2透过速率和分离效率…

Apollo Dreamview+之播放离线数据包

前提条件 完成 Dreamview 插件安装,参见 Studio 插件安装 。 操作步骤 您可以通过包管理和源码两种方式快速体验离线数据包播放操作。其中进入 docker 环境和启动 dreamview 的命令有所区别,请您按照命令进行操作。 步骤一:启动并打开 Dr…

(十四)Servlet教程——Servlet中HttpSession的使用

除了使用Cookie,Web应用程序中还经常使用Session来记录客户端状态。Session是服务器端使用的一种记录客户端状态的机制,相应地也增加了服务器的存储压力。 1. 什么是Session Session是另外一种记录客户端状态的机制,不同的是Cookie保存在客户…

JavaScript基础(二)

JS语法结构——引入方式 js很明显可以是一个后缀名为js的文件&#xff0c;js的引入方式和css一样&#xff0c;也有三种方式。 1.外部 使用script表现&#xff0c;只不过增加一个src属性&#xff0c;把js文件的路径src属性中。 <script src "js文件路径">&l…