用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris

背景

StarRocks 和 Doris 是近两年来相当流行的、国产的、开源的实时数仓,不仅数据检索、分析能力出众,而且数据准备实时性好、准确度高、使用丝滑,可如同在线数据库般使用。

CloudCanal 在早期即支持此两种实时数仓,并且经过多次迭代,无论功能、性能、稳定性都趋于成熟。

不过正儿八经使用这两款流行数仓的全功能,搭建调优也并不简单,为了规避这个问题,我们将 阿里云 EMR for StarRocks/Doris 作为 CloudCanal 数据源,快速、低成本接入业务数据,实现"极速一体"的实时数据分析体验。

此方案特点:

  • 数据实时准备、实时数仓皆具备生产级别能力,数据一产生即可做复杂查询
  • 无复杂部署、调优,软件、服务获取简便
  • 数据同步软件、数仓全功能,无阉割,有云和软件厂商的社区/商业保障
  • 无缝适配私有机房(本文选择了 EMR for StarRocks & Doris 半托管模式, Serverless 模式根据笔者测试同样有效)

废话不多说,直接来看怎么操作吧。

云资源入口

  • 阿里云官网 > 产品 > 大数据计算 > 开源大数据平台 E-MapReduce
    aliyun_emr_entry

  • EMR on ECS > 创建集群 , 选择数据分析 tab。这里笔者选择了 EMR on ECS , 即半托管模式, 对于有计划私有机房使用的用户更加匹配些。
    aliyun_emr_entry_2

创建并添加 Aliyun EMR for StarRocks

  • 选择一个 StarRocks 版本,点击下一步。
    create_sr_1

  • 各个节点都挂载公网(如 VPC 内使用,则忽略),点击下一步。
    doris_sr_pub_net

  • 查看 StarRocks be/fe 节点和端口, 和默认有所区别, 其中 fe 端口名称为 query_port, 走 MySQL 协议, be 端口 webserver_port, 可走 HTTP 协议(stream load)
    sr_fe
    sr_be

  • CloudCanal 控制台 > 数据源管理 > 添加数据源, 选择添加 自建 StarRocks
    add_sr

创建并添加 Aliyun EMR for Doris

  • 选择一个 Doris 版本,点击下一步。
    create_doris_1

  • 各个节点都挂载公网(如 VPC 内使用,则忽略),点击下一步。
    doris_sr_pub_net

  • 查看 Doris be/fe 节点和端口, 和默认有所区别, 其中 fe 端口名称为 query_port, 走 MySQL 协议, be 端口 webserver_port, 可走 HTTP 协议(stream load)。
    doris_fe
    doris_be

  • CloudCanal 控制台 > 数据源管理 > 添加数据源
    add_doris

使用

  • 创建 CloudCanal 任务,实时同步数据到 阿里云 EMR for StarRocks/Doris。
  • 使用 MySQL 客户端或 CloudDM 连接 阿里云 EMR for StarRocks/Doris 进行检索分析体验。

总结

本文主要介绍使用 CloudCanal 和 阿里云 EMR for StarRocks & Doris 快速构建具备真实业务数据的查询分析,步骤简单、功能完整、稳定性好,且价格便宜。欢迎大家尝试。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/238364.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JavaScript 内存泄漏的检测与防范:让你的程序更稳定

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

.netcore 操作aspose.words导出pdf

个人重点关注的是生成曲线图的部分,浪费了我很多时间 chart.Legend.Position LegendPosition.Top; 控制图形的显示位置,这个地方好像必须要选一个位置,否则会内容显示不全,我开始用的LegendPosition.None,他就显示…

京东数据运营-京东数据开放平台-鲸参谋10月粮油调味市场品牌店铺销售数据分析

鲸参谋监测的京东平台10月份料油调味市场销售数据已出炉! 根据鲸参谋数据显示,今年10月份,京东平台粮油调味市场的销量将近4600万,环比增长约10%,同比降低约20%;销售额将近19亿,环比增长约4%&am…

VT-VRPA2-1-1X/V0/T5控制4WRE6比例方向阀放大板

带阀芯位移反馈不带集成式放大器比例方向阀控制放大器,替代力士乐同型号产品,可以完全互换使用;适用于控制力士乐系列带电位置反馈的4WRE6通径和4WRE10通径2X系列比例方向阀;0~10V、4~20mA指令控制信号任意可选;直接安…

Docker 镜像及其命令

文章目录 镜像Docker 镜像加载原理联合文件系统bootfs和rootfs镜像分层 镜像分层的优势容器层常用命令 镜像 镜像是一种轻量级、可执行的独立软件包,它包含运行某个软件所需的所有内容,我们把应用程序和配置依赖打包好形成一个可交付的运行环境&#xff…

cmake和vscode 下的cmake的使用详解(二)

第四讲: GDB 调试器 前言: GDB(GNU Debugger) 是一个用来 调试 C/C 程序 的功能强大的 调试器 ,是 Linux 系统开发 C/C 最常用的调试器 程序员可以 使用 GDB 来跟踪程序中的错误 ,从而减少程序员的工作量。 Linux 开发 C/C …

SQL Sever 基础知识 - 限制行数

SQL Sever 基础知识 - 三、限制行数 三、限制行数第1节 OFFSET FETCH - 限制查询返回的行数1.1 OFFSET 和 FETCH 子句1.2 SQL Server OFFSET 和 FETCH 示例 第2节 SELECT TOP - 限制查询结果集中返回的行数或行的百分比2.1 SELECT TOP 子句2.2 PERCENT2.3 WITH TIES2.4 SELECT …

Excel导入操作

<template><el-dialogwidth"500px"title"员工导入":visible"showExcelDialog"close"$emit(update:showExcelDialog, false)"><el-row type"flex" justify"center"><div class"upload-e…

计算机毕业设计 基于SpringBoot的敬老院管理系统的设计与实现 Java实战项目 附源码+文档+视频讲解

博主介绍&#xff1a;✌从事软件开发10年之余&#xff0c;专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精…

计算机视觉(OpenCV+TensorFlow)

计算机视觉&#xff08;OpenCVTensorFlow&#xff09; 文章目录 计算机视觉&#xff08;OpenCVTensorFlow&#xff09;前言7. 图像直方图绘制直方图绘制直方图有两种方式&#xff1a; 掩膜 8. 直方图均衡化直方图均衡化的介绍直方图均衡化的步骤自适应直方图均衡化 9. 图像转换…

HarmonyOS ArkTS与c++交互通信

一、创建Native C Module 1、右键项目->new->module 如图&#xff1a; 2、修改build-profile.json5配置 "externalNativeOptions": {"path": "./src/main/cpp/CMakeLists.txt","arguments": "-v -DOHOS_STLc_shared&quo…

re:Invent大会,亚马逊云科技为用户提供端到端的AI服务

11月末&#xff0c;若是你降落在拉斯维加斯麦卡伦国际机场&#xff0c;或许会在大厅里看到一排排AI企业和云厂商相关的夸张标语。走向出口的路上&#xff0c;你的身边会不断穿梭过穿着印有“AI21Lab”“Anthropic”等字样的AI企业员工。或许&#xff0c;你还会被机场工作人员主…