一文走进时序数据库性能测试工具 TSBS

一、背景

在物联网、车联网等时序数据场景中，数据的高速写入能力至关重要，会对产品方案的可用性、可靠性和扩展性产生影响。

以物联网为例，当面临千万甚至上亿设备、平均每个设备采集几十个到几百个指标时，每秒生成的数据将达到数十亿至数百亿。能否及时可靠的插入这种量级的数据，是评价一个时序数据库的核心要素和第一需求。

因此，对于时序数据库的性能进行测试也就尤为重要，TSBS 作为一款对时序数据库批量加载性能和查询执行性能的开源测试工具，得到了越来越多的应用。

二、TSBS 介绍

Time Series Benchmark Suite (TSBS) 是一个使用 go 语言编写的，用于生成时序数据集的基准测试工具，可以对各种时序数据库的读写性能进行基准测试。TSBS 具有可扩展性， 可以对各种时序数据场景（例如 devops，IoT 等）进行批量写入性能和查询执行性能基准测试。

目前 TSBS 支持 IOT 及 Devops 两种场景:

  • IoT 场景：模拟物联网环境中的数据负载，这个用例模拟来自一个虚构的卡车公司的一组卡车的数据流，包括来自每辆卡车的诊断数据和指标，并引入了相关的环境因素，例如 out-of-order 数据和批量摄取（对于离线一段时间的卡车）。它还跟踪卡车元数据，并使用它将度量和诊断作为查询集的一部分联系在一起。
  • Devops 场景：“开发操作”用例，有两种形式。完整形式用于生成、插入和测量 9 个“系统”中的数据，这些数据可以在真实的devops场景(e.g.、CPU、内存、磁盘等）中进行监控。这 9 个系统一起在每个读取间隔生成 100 个度量。另一种形式只关注CPU指标，以实现更简单、更精简的用例。这个用例每次读取生成 10 个 CPU 指标。除了度量读数之外，还为数据集中的每个主机生成“标记”（包括主机的位置、操作系统等）。

目前支持的数据库：

  • Akumulie

  • Cassandrae

  • ClickHousee

  • CrateDBe

  • InfluxDB

  • MongoDB

  • SiriDBe

  • TimescaleDB

  • VictoriaMetricse

未支持 TSBS 的时序数据库，可自行适配数据库类型后开展性能测试工作。

三、TSBS 测试工具

1. TSBS 测试工具安装

（1）使用 go get 对 TSBC 及其相关应用进行下载

$ go get github.com/timescale/tsbs

（2）切换到 cmd 下使用 go install 进行部分应用的安装

#Install desired binaries. At a minimum this includes tsbs_generate_data,

（3）切换到 cmd 下使用 go install 进行剩下的安装

#Optionally, install all binaries:

2. TSBS 测试工具使用

TSBS 基准测试分为 3 个阶段：数据生成和查询语生成、数据写入/插入测试、查询测试。下面 TSBS 测试工具三个阶段的使用以 IOT 场景和 timescaledb 数据库为例进行介绍。

（1）数据生成

通过 TSBS 生成基准测试的数据，将其作为基准测试阶段的输入。需要的变量，如下：

  • –use-case：使用场景，包括iot、devops、cpu-only，例如iot；

  • –seed：用于确定性生成的 PRNG 种子。例如：123；

  • –scale：要生成的卡车/设备数量。例如：50000；

  • –timestamp-start：数据中时间戳的开始时间。例如：2016-01-01T00:00:00Z；

  • –timestamp-end：数据中时间戳的结束时间。例如：2016-01-01T00:10:00Z；

  • –log-interval：每个设备的每次读取之间应该间隔多长时间，以秒为单位。例如：10s；

  • –format：需要生成的数据库，例如: timescaledb。

可自行设置变量在自定义目录下生成数据文件，示例：如使用上述变量生成数据集（在自定义目录/tmp/下生成 tsdb-data 数据文件）。

上面示例会生成一个伪 -CSV 文件，用于将数据批量加载到 TimescaleDB 中。每个数据库都有自己的格式，用于存储数据，使其数据库对应的加载器最容易写入数据。

（2）查询生成

需要的变量，如下：

  • 与数据生成中的用例、卡车数量、开始时间相同；

  • –timestamp-end：数据生成后一秒的结束时间，例如：对于 2016-01-01T00:10:00Z 使用 2016-01-01T00:10:01Z；

  • –queries：生成的SQL语句的查询数，例如：1000；

  • –query-type：要生成的SQL语句查询类型，例如：" specific-sub-table "；

例如：下列为生成 timescaledb 单类型一组查询的例子，可以通过改变查询类型 --query-type 一项来生成其他查询语句类型（查询类型的完整列表见末尾附录内容）：

$ tsbs_generate_queries --use-case="iot" --seed=123 --scale=50000 \

（3）数据插入/写入测试

TSBS 通过获取上一步中生成的数据并将其用作特定于数据库的命令行程序的输入来测量插入/写入性能。tsbs_load 可执行文件可以在任何受支持的数据库中加载数据。可使用预生成的数据文件作为输入。每个加载程序确实共享一些公共标志——例如，batch-size 批处理大小（一起插入的读取数）、worker（并发插入的客户端的数量）、连接详细信息（主机和端口）等。要查找特定数据库的标志，请使用 -help 标志(例如，tsbs_load_timescaledb -help）。

例如：

#use insert

会在 TimescaleDB 中创建一个名为 benchmark 的新数据库，存储数据。在加载完整数据集时除最后两行之外的所有行都包含 CSV 格式的数据，标题中包含列名。这些列名对应于：时间戳、期间每秒的指标、插入总指标、每秒总体指标、期间每秒行数、总行数、每秒总行数。最后两行为插入指标数目（和适用的行），时间和平均写入速率。可以通过更改 --workers 的值以控制同时运行的并行 load 的级别，通过更改 --partitions 的值改变分区数。

（4）查询测试

要测量 TSBS 中的查询执行性能，您首先需要使用上一节加载数据并生成如前所述的查询。加载数据并生成查询后，只需为正在测试的数据库使用相应的 tsbs_run_queries_ 二进制文件，通过更改数据库以及数据库对应自定义目录下生成的查询语句类型来实现各类型的查询性能测试。缺少的条件也可以根据 -help 进行查询。

例如：

对于 timescaledb 数据库查询“specific-sub-table”：

$ cat /tmp/timescaledb-queries- specific-sub-table.gz | \

可以通过更改 --workers 的值以控制同时运行的并行查询的级别。

四、实践

1. 测试环境

在这里插入图片描述

2. 导入性能测试

测试使用 TSBS 测试工具生成 IoT 场景下卡车运输公司的卡车数据集（约 9.9G），测试：TimescaleDB 在 workes=2 下 partitions 分别为 1、50、100、150 下的导入/查询性能；

workes=1、2、4、8 下 TimescaleDB 的导入/查询性能。

测试结果：
在这里插入图片描述

workers=2 下 TimescaleDB 测试不同 partitions，partitions=50 下具有最优导入性能。具体如下图所示：
在这里插入图片描述

在 partitions=50 时测试不同 workers 下 TimescaleDB 的导入性能，TimescaleD 导入性能如下所示：
在这里插入图片描述
在这里插入图片描述

在 partitions=50 时测试不同 workers 下 TimescaleDB 的导入性能，TimescaleD 导入性能如下所示：

3. 查询性能测试

测试 workers=2，不同 partitions(1, 50, 100, 150)下 TimescaleDB 的查询性能；

不同 workers(1, 2, 4, 8)下 TimescaleDB 的查询性能。

（1）查询语句：

query-specific-sub-table**：**

SELECT t.driver, r.latitude, r.longitude
FROM tags t 
INNER JOIN LATERAL (SELECT latitude, longitude, name FROM readings)       AS r ON r.name = t.name 
WHERE t.name IS NOT NULL
AND t.name = GetRandomName()

query-stationary-trucks-avg-velocity：

SELECT t.name, t.driver, avg(r.velocity) as avg_velocity
FROM tags t 
INNER JOIN readings r ON r.name = t.name
WHERE time >= Start() 
AND time < End()AND t.name IS NOT NULL
AND t.fleet = GetRandomFleet() 
GROUP BY 1, 2

（2）测试结果：

query-stationary-trucks-avg-velocity：

在这里插入图片描述
在这里插入图片描述

specific-sub-table：
在这里插入图片描述
在这里插入图片描述

五、查询类型

1. Devops/cpu-only

在这里插入图片描述

2. IoT

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/63105.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

简单认识ELK日志分析系统

简单认识ELK日志分析系统

一. ELK日志分析系统概述 1.ELK 简介 ELK平台是一套完整的日志集中处理解决方案&#xff0c;将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用&#xff0c; 完成更强大的用户对日志的查询、排序、统计需求。 好处&#xff1a; &#xff08;1&#xff09;提高安全…
阅读更多...
【观察者设计模式详解】C/Java/JS/Go/Python/TS不同语言实现

【观察者设计模式详解】C/Java/JS/Go/Python/TS不同语言实现

简介 观察者模式&#xff08;Observer Pattern&#xff09;是一种行为型模式。它定义对象间的一种一对多的依赖关系&#xff0c;当一个对象的状态发生改变时&#xff0c;所有依赖于它的对象都得到通知并被自动更新。 观察者模式使用三个类Subject、Observer和Client。Subject…
阅读更多...
Go把Map转成对象

Go把Map转成对象

最近使用了Redis的Hash&#xff0c;把一个对象给存储到了hash里面&#xff0c;具体如下&#xff1a; 现在需要从RedisHash缓存里面把结果给取出来&#xff0c;同时赋值到一个对象上面 result, err : global.GVA_REDIS.HGetAll(context.Background(), key).Result() 问题是resul…
阅读更多...
java实现文件的下载

java实现文件的下载

系统日志的获取不可能每次都登录服务器&#xff0c;所以在页面上能够下载系统运行的日志是必须的 如何来实现日志的下载&#xff0c;这样的一个功能 前端我们用到的是window.open(...)这样可以发送一个get请求到后台 后台接收到get请求之后&#xff0c;如何实现对文件的下载 R…
阅读更多...
（docker）mysql镜像拉取-创建容器-容器的使用【个人笔记】

（docker）mysql镜像拉取-创建容器-容器的使用【个人笔记】

【容器的第一次创建】 容器的第一次创建&#xff0c;需要先下载镜像&#xff0c;从 镜像拉取 0、可以搜索镜像的版本 docker search mysql1、先拉取MySQL的镜像&#xff0c;默认拉取最新版&#xff0c;使用下面的命令拉取mysql镜像 docker pull mysql也可以指定mysql的版本…
阅读更多...
RCNA——单臂路由

RCNA——单臂路由

一&#xff0c;实验背景 之前的VLAN实现的很多都是相同部门互相访问&#xff0c;不同部门无法访问。不过这次整来了一个路由器&#xff0c;领导说大部分的部门虽说有保密信息需要互相隔离&#xff0c;但是这些部门和其它部门也应该互相连通以方便工作交流。因此要配置新的环境&…
阅读更多...
424. 替换后的最长重复字符

424. 替换后的最长重复字符

424. 替换后的最长重复字符 原题链接&#xff1a;完成情况&#xff1a;解题思路&#xff1a;参考代码&#xff1a; 原题链接&#xff1a; 424. 替换后的最长重复字符 https://leetcode.cn/problems/longest-repeating-character-replacement/description/ 完成情况&#xff…
阅读更多...
SQL | 过滤数据

SQL | 过滤数据

4-过滤数据 4.1-使用WHERE子句 数据根据 WHERE 子句中指定的搜索条件进行过滤。WHERE 子句在表名&#xff08; FROM 子句&#xff09;之后给出。 select prod_name,prod_price from products where prod_price 3.49; 上述语句查询价格为3.49的行&#xff0c;然后输出名字和…
阅读更多...
TDesign中后台管理系统-用户登录

TDesign中后台管理系统-用户登录

目录 1 创建用户表2 开发后端接口3 测试接口4 修改登录页面调用后端接口最终效果总结 中后台系统第一个要实现的功能就是登录了&#xff0c;我们通常的逻辑是让用户在登录页面输入用户名和密码&#xff0c;调用后端接口去验证用户的合法性&#xff0c;然后根据接口返回的结果进…
阅读更多...
PE启动盘和U启动盘(第三十六课)

PE启动盘和U启动盘(第三十六课)

PE启动盘和U启动盘(第三十六课) 一 WindowsPE工具盘 1. 制作WinPE镜像光盘 双击WePE64_V2.2-是-点击右下角光盘图标-选择ISO的输出位置-立即生成ISO 2. 通过光盘启动WinPE
阅读更多...
Mysql整理

Mysql整理

一、基础概念 1. 索引 之前的文章已经写过了&#xff0c;比较细 数据库索引含义,类别,用法,创建方式_表结构加树形id和索引是为什么_马丁•路德•王的博客-CSDN博客 简单概括就是在表的某个列或者多个列或者联合表的时候加个索引&#xff0c;类似图书馆书本的索引编号&…
阅读更多...
Javascript 正则

Javascript 正则

基本语法 定义 JavaScript种正则表达式有两种定义方式 构造函数 var regnew RegExp(<%[^%>]%>,g);字面量 var reg/<%[^%>]%>/g;g&#xff1a; global&#xff0c;全文搜索&#xff0c;默认搜索到第一个结果接停止i&#xff1a;ingore case&#xff0c;忽略…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023