大数据技术7：StarRocks极速全场景MPP数据库

前言：StarRocks原名DorisDB，是新一代极速全场景MPP数据库。StarRocks 是 Apache Doris 的 Fork 版本。StarRocks 连接的多种源。一是通过这个 CDC 或者说通过这个 ETL 的方式去灌到这个 StarRocks 里面；二是还可以去直接的和这些老的 kafka 或者是这种 TP 的数据库或者这种 log 的话，直接可以进行灌入；三是 External table 目前支持这种 hive 、es、 MySQL ，当然这里边还支持 hudi 和 Iceberg

StarRocks官网：https://docs.starrocks.io/zh/docs/introduction/StarRocks_intro/

一、StarRocks简介

1.1、StarRocks定义

StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议，可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展，高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。

StarRocks 分为社区版和企业版，社区版为开源，企业版需付费使用。社区版支持了大部分的功能，但不支持StarRocks Manager（可视化运维监控平台），在数据库管理上不太方便。

StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理，就可以用 StarRocks 来支持多种数据分析场景的极速分析。

StarRocks 架构简洁，采用了全面向量化引擎，并配备全新设计的 CBO (Cost Based Optimizer) 优化器，查询速度（尤其是多表关联查询）远超同类产品。

StarRocks 能很好地支持实时数据分析，并能实现对实时更新数据的高效查询。StarRocks 还支持现代化物化视图，进一步加速查询。

使用 StarRocks，用户可以灵活构建包括大宽表、星型模型、雪花模型在内的各类模型。

StarRocks 兼容 MySQL 协议，支持标准 SQL 语法，易于对接使用，全系统无外部依赖，高可用，易于运维管理。StarRocks 还兼容多种主流 BI 产品，包括 Tableau、Power BI、FineBI 和 Smartbi。

1.2、新一代弹性 MPP 架构

下图是StarRocks 的架构，这个架构就是有一个 FE 和 BE ，而这个 FE 有几个模块。第一个模块就是 catter log 的一个模块，就是他会存这个原数据，然后他还有一个 planner ,相当于所有的 MySQL 的第一站全部打到 FE 里，然后 FE 进行 SQL 的整个的解析，到最后的这个分布式的物理的 plan 的生成，然后都搞完之后真正的做整个的这个计算，是要在 BE 里去做计算的。

他整个的这个架构是非常简单的，就是说在 FE 目前是一个稍微老一些的，因为这个其实是从 Doris 演化过来的,所以这是一个当时 Doris 有的时候还没有这个 raft 的这种玩法,但是现在社区 StarRocks 要慢慢的把 FE 改成这种基于 raft 的这种结构，它是目前现在是基于 Borken DB的，但是可以认为跟 raft 也差不太多，他是几台高可用的 FE 再加上这种 BE 。 BE 实际上做的就是这种 Execution Engine 还有这种存储引擎 storage engine 基本他就是这两个大的模块。实际上整个链路就是 MySQL 第一条打到查询的时候打到 FE ，FE 再把这个 SQL 文本翻译成这个分布式的执行计划，分布式的执行计划的数据都是按这种 buget 的方式去存到 BE 里。这一个这张表或者说查的这些 SQL 都命中了哪些 tablet ，会把这个相应的 SQL 的执行引擎给他搞到这个 BE 上，然后 BE 算完之后再回给 FE ，大概整个就是这么一个数据流。

1.3、StarRocks适用场景​

StarRocks 可以满足企业级用户的多种分析需求，包括 OLAP (Online Analytical Processing) 多维分析、定制报表、实时数据分析和 Ad-hoc 数据分析等。

（1）OLAP 多维分析​

利用 StarRocks 的 MPP 框架和向量化执行引擎，用户可以灵活的选择雪花模型，星型模型，宽表模型或者预聚合模型。适用于灵活配置的多维分析报表，业务场景包括：

  • 用户行为分析

  • 用户画像、标签分析、圈人

  • 高维业务指标报表

  • 自助式报表平台

  • 业务问题探查分析

  • 跨主题业务分析

  • 财务报表

  • 系统监控分析

（2）实时数据仓库​

StarRocks 设计和实现了 Primary-Key 模型，能够实时更新数据并极速查询，可以秒级同步 TP (Transaction Processing) 数据库的变化，构建实时数仓，业务场景包括：

  • 电商大促数据分析

  • 物流行业的运单分析

  • 金融行业绩效分析、指标计算

  • 直播质量分析

  • 广告投放分析

  • 管理驾驶舱

  • 探针分析APM（Application Performance Management）

（3）高并发查询​

StarRocks 通过良好的数据分布特性，灵活的索引以及物化视图等特性，可以解决面向用户侧的分析场景，业务场景包括：

  • 广告主报表分析

  • 零售行业渠道人员分析

  • SaaS 行业面向用户分析报表

  • Dashboard 多页面分析

（4）统一分析​

  • 通过使用一套系统解决多维分析、高并发查询、预计算、实时分析查询等场景，降低系统复杂度和多技术栈开发与维护成本。

  • 使用 StarRocks 统一管理数据湖和数据仓库，将高并发和实时性要求很高的业务放在 StarRocks 中分析，也可以使用 External Catalog 和外部表进行数据湖上的分析。

二、StarRocks特性

StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，具有以下特性：

架构精简

StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架本身能够充分的利用多节点的计算能力，整个查询并行执行，从而实现良好的交互式分析体验。 StarRocks集群不需要依赖任何其他组件，易部署、易维护，极简的架构设计，降低了StarRocks系统的复杂度和维护成本，同时也提升了系统的可靠性和扩展性。

标准SQL

StarRocks支持标准的SQL语法，包括聚合、JOIN、排序、窗口函数和自定义函数等功能。StarRocks可以完整支持TPC-H的22个SQL和TPC-DS的99个SQL。StarRocks还兼容MySQL协议语法，可使用现有的各种客户端工具、BI软件访问StarRocks，对StarRocks中的数据进行拖拽式分析。

全面向量化引擎

StarRocks的计算层全面采用了向量化技术，将所有算子、函数、扫描过滤和导入导出模块进行了系统性优化。通过列式的内存布局、适配CPU的SIMD指令集等手段，充分发挥了现代CPU的并行计算能力，从而实现亚秒级别的多维分析能力。

智能查询优化

StarRocks通过CBO优化器(Cost Based Optimizer)可以对复杂查询自动优化。无需人工干预，就可以通过统计信息合理估算执行成本，生成更优的执行计划，大大提高了Adhoc和ETL场景的数据分析效率。

联邦查询

StarRocks支持使用外表的方式进行联邦查询，当前可以支持Hive、MySQL、Elasticsearch三种类型的外表，用户无需通过数据导入，可以直接进行数据查询加速。

高效更新

StarRocks支持多种数据模型，其中更新模型可以按照主键进行upsert/delete操作，通过存储和索引的优化可以在并发更新的同时实现高效的查询优化，更好的服务实时数仓的场景。

智能物化视图

StarRocks支持智能的物化视图。用户可以通过创建物化视图，预先计算生成预聚合表用于加速聚合类查询请求。StarRocks的物化视图能够在数据导入时自动完成汇聚，与原始表数据保持一致。并且在查询的时候，用户无需指定物化视图，StarRocks能够自动选择最优的物化视图来满足查询请求。

流批一体

StarRocks支持实时和批量两种数据导入方式，支持的数据源有Kafka、HDFS、本地文件，支持的数据格式有ORC、Parquet和CSV等，StarRocks可以实时消费Kafka数据来完成数据导入，保证数据不丢不重（exactly once）。StarRocks也可以从本地或者远程（HDFS）批量导入数据。

极简运维

StarRocks具有高可用易扩展的特性，元数据和数据都是多副本存储，并且集群中服务有热备，多实例部署，避免了单点故障。集群具有自愈能力，可弹性恢复，节点的宕机、下线、异常都不会影响StarRocks集群服务的整体稳定性。

StarRocks采用分布式架构，存储容量和计算能力可近乎线性水平扩展。StarRocks单集群的节点规模可扩展到数百节点，数据规模可达到10PB级别。 扩缩容期间无需停服，可以正常提供查询服务。 另外StarRocks中表模式热变更，可通过一条简单SQL命令动态地修改表的定义，例如增加列、减少列、新建物化视图等。同时，处于模式变更中的表也可也正常导入和查询数据。

StarRocks是一个自治的系统。节点的上下线，集群扩缩容都可通过一条简单的SQL命令来完成。

三、StarRocks优势

极速SQL查询

  • 全新的向量化执行引擎，亚秒级查询延时，单节点每秒可处理多达100亿行数据。
  • 强大的MPP执行框架，支持星型模型和雪花模型，极致的Join性能。
  • 综合查询速度比其他产品快10-100倍
  • 查看性能测试报告

实时数据分析

  • 新型列式存储引擎，支持大规模数据实时写入，秒级实时性保证。
  • 支持业务指标实时聚合，加速实时多维数据分析。
  • 新型读写并发管理模式，可同时高效处理数据读取和写入。

高并发查询

  • 灵活的资源分配策略，每秒可支持高达1万以上的并发查询。
  • 可高效支持数千用户同时进行数据分析。

极简运维

  • 支持在大数据规模下进行在线弹性扩展，扩容不影响线上业务。集群可扩展至数百节点，PB量级数据。
    集群运行高度自治化，故障自恢复，运维成本低。

国产核心软件

  • 完全自主创新，全球领先。
  • 更完善的本地化专家服务体系。

四、StarRocks VS ClickHouse

指标ClickHouseStarRocks
MPP架构Scatter-Gather模式，聚合操作依赖单点完成，操作数据量大时有瓶颈现代化MPP架构，可以实现多层聚合、大表Join
架构依赖ZooKeeper进行DDL和Replica同步内置分布式协议进行元数据同步Master/Follower/Observer节点类型
事务性100万以内原子性，DDL无事务保证事务保证数据ACID
数据规模单集群 < 10PB单集群 < 10PB
标准SQL的支持不支持标准的SQL语言支持，兼容Mysql协议
分布式Join不支持Join，仅支持大宽表模式支持主流分布式Join，不仅支持大宽表模型，还支持星型和雪花模型
高并发查询不支持高并发支持高并发
外表支持MySQL/Hive的表外查MySQL/ES/Hive的表
Exactly Once语义不支持事务，无法保证数据写入不丢不重支持事务，可实现数据不丢不重
集群扩容扩容需人工操作，工作量巨大，且影响线上服务扩容只需要迁移部分数据分片，系统自动完成，不影响线上服务
运维要求依赖ZK，运维和维护成本高不依赖外部系统，极简运维

参考链接：

什么是 StarRocks | StarRocks

StarRocks调研

开源大数据 OLAP 引擎最佳实践 | 学习笔记（二）-阿里云开发者社区

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/263593.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

分布式事务Seata(别名Seta)(持续学习中)

分布式事务Seata(别名Seta)(持续学习中)

1.为什么学习他? 当一台机器的时候,只需要本地事务回滚就好了,还有MonogoDB最好不要放敏感数据,特别是旧的版本,没有事务功能(ACID), 分布式事务,也是属于多线程问题,就是把多台机器变成一台机器(他拥有更多线程,但是也要考虑网络问题),redis在一台机器是单线程的,但是多台机器…
阅读更多...
AI 绘画 | Stable Diffusion 艺术二维码制作

AI 绘画 | Stable Diffusion 艺术二维码制作

前言 这篇文章教会你如果用Stable Diffusion WEB UI制作艺术二维码，什么是艺术二维码呢？就是普通二维码和艺术图片融合后的二维码图片，如下图所示。主要原理还是使用controlNet的control_v1p_sd15_qrcode_monster模型和光影模型control_v1p_sd15_brightness。 教程 准备…
阅读更多...
Java IO流（四）(Autocloseable接口)

Java IO流（四）(Autocloseable接口)

Autocloseable接口 实现Autocloseable的IO类在特定的情况下&#xff0c;可以自动释放资源。 JDK7时的写法&#xff1a; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException;public class ByteStreamDemoJDK7 {public static void…
阅读更多...
一文带你了解Linux学习网站：让你的编程之路更加顺畅！

一文带你了解Linux学习网站：让你的编程之路更加顺畅！

介绍&#xff1a;Linux&#xff0c;通常指的是GNU/Linux&#xff0c;是一种免费使用和自由传播的类UNIX操作系统。这个系统的核心由林纳斯本纳第克特托瓦兹&#xff08;Linus Benedict Torvalds&#xff09;在1991年首次发布。Linux是基于POSIX和UNIX的多用户、多任务、支持多线…
阅读更多...
AMC8竞赛历年真题集在线练习和解析，新增一套适合碎片时间练习卷

AMC8竞赛历年真题集在线练习和解析，新增一套适合碎片时间练习卷

根据部分家长和孩子反馈&#xff0c;六分成长独家制作的AMC8历年在线真题集的在线试卷新增一套&#xff1a;每次从575道真题题库中抽取5道。更好地利用碎片化时间来做题&#xff0c;查漏补缺&#xff0c;了解AMC8竞赛的题目形式和考察知识点。 新试卷已经上线&#xff0c;之前拥…
阅读更多...
洛谷P1287 盒子与球

洛谷P1287 盒子与球

题干&#xff1a; 现有 r 个互不相同的盒子和 n 个互不相同的球&#xff0c;要将这 n 个球放入 r 个盒子中&#xff0c;且不允许有空盒子。请求出有多少种不同的放法。 两种放法不同当且仅当存在一个球使得该球在两种放法中放入了不同的盒子。 数据范围&#xff1a; 0<n,r&l…
阅读更多...
堆的相关时间复杂度计算（C语言）

堆的相关时间复杂度计算（C语言）

目录 前言 建堆的时间复杂度 向上调整建堆的时间复杂度 向下调整建堆的时间复杂度 维护堆的时间复杂度 top K问题的时间复杂度 前言 在前面的三篇文章中我们成功的实现了堆排序的升降序以及基于堆的top K问题&#xff0c;现在我们来解决它们的时间复杂度问题 建堆的时间…
阅读更多...
我有才专属定制适合个人的知识付费平台，打造个性化品牌与自主管理体验

我有才专属定制适合个人的知识付费平台，打造个性化品牌与自主管理体验

在当今数字化时代&#xff0c;知识付费平台已经成为人们获取专业知识、提升自身素质的重要渠道。然而&#xff0c;公共知识付费平台虽然内容丰富&#xff0c;但难以满足个人或企业个性化的需求和品牌打造。因此&#xff0c;我们提出了专属定制适合个人的知识付费平台的概念&…
阅读更多...
108. 将有序数组转换为二叉搜索树

108. 将有序数组转换为二叉搜索树

给你一个整数数组 nums &#xff0c;其中元素已经按 升序 排列&#xff0c;请你将其转换为一棵 高度平衡 二叉搜索树。 高度平衡 二叉树是一棵满足「每个节点的左右两个子树的高度差的绝对值不超过 1 」的二叉树。 示例 1&#xff1a; 输入&#xff1a;nums [-10,-3,0,5,9] 输…
阅读更多...
2023年最新prometheus + grafana搭建和使用

2023年最新prometheus + grafana搭建和使用

一、安装prometheus 1.1 安装 prometheus官网下载地址 sudo -i mkdir -p /opt/prometheus #移动解压后的文件名到/opt/,并改名prometheus mv prometheus-2.45 /opt/prometheus/ #创建一个专门的prometheus用户&#xff1a; -M 不创建家目录&#xff0c; -s 不让登录 useradd…
阅读更多...
面向AOP（2）spring

面向AOP（2）spring

我是南城余&#xff01;阿里云开发者平台专家博士证书获得者&#xff01; 欢迎关注我的博客&#xff01;一同成长&#xff01; 一名从事运维开发的worker&#xff0c;记录分享学习。 专注于AI&#xff0c;运维开发&#xff0c;windows Linux 系统领域的分享&#xff01; 本…
阅读更多...
ChatGPT是科学还是艺术？

ChatGPT是科学还是艺术？

OpenAI最近谈到GPT4变懒的问题&#xff0c;说“它更像是多人共同参与的艺术创作”&#xff0c;那到底大模型是科学还是艺术&#xff1f;
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023