云消息队列 Kafka 版生态谈第一期：无代码转储能力介绍

作者：娜米

云消息队列 Kafka 版为什么需要做无代码转储

云消息队列 Kafka 版本身是一个分布式流处理平台，具有高吞吐量、低延迟和可扩展性等特性。它被广泛应用于实时数据处理和流式数据传输的场景。然而，为了将云消息队列 Kafka 版与其他数据源和数据目的地集成，需要额外的开发/组件来实现数据的传输和同步，客户需要大量的研发、运维等投入。

为了提升研发效率，云消息队列 Kafka 版联合阿里云产品支持到无代码、全托管、Serverless 化的功能特性，支持从云消息队列 Kafka 版到 OSS 的转储。该功能特性的优势有：

  • 简单
    • 敏捷开发，简单配置就可以支持该能力
    • 轻松转储不同应用程序的 OSS 数据
    • 无需复杂的软件和基础设施
  • 全托管
    • 提供 Serverless 计算能力
    • 免运维
    • 成熟功能
  • 低成本
    • 云消息队列 Kafka 版本身不额外收费，底层依赖函数计算按量收费
    • 函数计算为该场景做深度优化，结合架构实现低成本：引入 CDN 缓存机制，动态计算配合衍生副本存储成本
    • 产品集成链路一定的减免费用

云消息队列 Kafka 版+OSS 主要应用场景

  • 数据备份和归档

    OSS 提供了数据备份和归档的功能。客户可以选择将重要数据备份到 OSS 中，以提供数据灾难恢复的能力。OSS 提供了数据持久性和可靠性的保证，可以确保数据的安全性和可用性。同时，OSS 还提供了归档存储的功能，用于长期存储不经常访问的数据。客户可以将数据归档到 OSS 的归档存储类别中，以节省存储成本，并根据需要进行数据恢复。

  • 大数据分析

    阿里云的对象存储 OSS 可以作为大数据的存储平台。客户可以将各种类型的大数据文件（如日志文件、传感器数据、用户行为数据等）存储在 OSS 中，以便后续进行数据分析、数据挖掘和机器学习等任务。客户可以在阿里云上完成大数据的存储、处理和分析任务，实现弹性扩展和高性能的大数据处理。

  • FC 计算结果的缓存

    阿里云函数计算（Function Compute，简称 FC）是一种事件驱动的无服务器计算服务，用于帮助用户以更低的成本和更高的弹性运行代码。而阿里云对象存储 OSS 是一种云端数据存储服务，提供安全、稳定、高扩展性的云端存储能力。FC 是无状态的计算服务，不提供持久化的本地存储。因此，如果需要在函数执行期间存储和访问数据，可以通过与 OSS 结合使用，将数据存储在 OSS 中。这样可以实现数据的持久化存储，确保数据不会因为函数计算的瞬时性而丢失。

代码转储产品能力介绍

图片

1. 0 代码开发： 转储/Connector 提供了与各种数据源和数据目的地的集成功能。通过使用云消息队列 Kafka 版转储/Connector 能力，研发人员无需编写复杂的数据集成代码，只需配置相应的 Connector 即可实现数据的传输和同步，大大简化了数据集成的过程。

2. 配置化支持： 用户可以根据自己的需求和业务场景，灵活配置转发规则和存储策略。无论是按照时间、关键字、主题等维度进行转发，支持按照文件夹、文件名等维度进行存储，都可以通过简单的配置实现，满足的个性化需求。

3. 高可靠性和容错性： 转储/Connector 保证了数据的高可靠性和容错性。数据在传输过程中，Connector 会自动处理数据的冗余和故障恢复，确保数据不会丢失或损坏。这样，用户不需要关注数据传输的细节和异常处理，可以更加专注于业务逻辑的开发。

4. Serverless 化： 可以根据请求的负载自动扩展和缩减计算资源。与传统的预分配服务器相比，Serverless 化可以更灵活地适应实际需求，降低资源浪费和成本。组件负责管理和维护底层基础架构，客户无需关心服务器的配置和管理。

使用步骤说明

前提条件

1. 云消息队列 Kafka 版实例准备 [ 1]

  1. 依赖开放，请参见创建前提 [ 2]

步骤一：创建目标服务资源

在对象存储 OSS 控制台创建一个存储空间（Bucket）。详细步骤，请参见控制台创建存储空间 [ 3] 。

本文以 oss-sink-connector-bucket Bucket 为例。

步骤二：创建 OSS Sink Connector 并启动

登录云消息队列 Kafka 版控制台 [ 4] ，在概览页面的资源分布区域，选择地域。

在左侧导航栏，选择 Connector 生态集成 > 消息流出（Sink）。

在消息流出（Sink）页面，单击创建任务。

在消息流出创建面板，配置以下参数，单击确定。

在基础信息区域，设置任务名称，将流出类型选择为对象存储 OSS。

在资源配置区域，设置以下参数。

图片

图片

完成上述配置后，在消息流出（Sink）页面，找到刚创建的 OSS Sink Connector 任务，单击其右侧操作列的启动。当状态栏由启动中变为运行中时，Connector 创建成功。

步骤三：测试 OSS Sink Connector

在消息流出（Sink）页面，在 OSS Sink Connector 任务的事件源列单击源 Topic。

在 Topic 详情页面，单击体验发送消息。

在快速体验消息收发面板，按照下图配置消息内容，然后单击确定。

图片

在消息流出（Sink）页面，在 OSS Sink Connector 任务的事件目标列单击目标 Bucket。

在 Bucket 页面，选择左侧导航栏的文件管理 > 文件列表，然后进入 Bucket 的最深层路径。

图片

可以看到此路径中有如下两类 Object：

  • 系统 meta 文件： 格式为 .oss_meta_file_partition_{partitionID}，文件数量和上游 Topic 的 Partition 数量相同，用于记录攒批信息，您无需关注。
  • 数据文件： 格式为 partition_{partitionID}offset{offset}_{8位Random 字符串}，如果一个 Object 中聚合了一个 Partition 的多条消息，Object 名称中的 Offset 为这批消息中的最小 Offset 值。

在对应 Object 右侧操作列，选择图片 > 下载。

打开下载的文件，查看消息内容。

图片如图所示，多条消息之间通过换行分隔。

相关链接：

[1] 云消息队列 Kafka 版实例准备

https://help.aliyun.com/zh/apsaramq-for-kafka/getting-started/getting-started-overview

[2] 创建前提

https://help.aliyun.com/zh/apsaramq-for-kafka/user-guide/prerequisites#concept-2323967

[3] 控制台创建存储空间

https://help.aliyun.com/zh/oss/getting-started/console-quick-start#task-u3p-3n4-tdb

[4] 云消息队列 Kafka 版控制台

https://account.aliyun.com/login/login.htm?oauth_callback=https%3A%2F%2Fkafka.console.aliyun.com%2F%3Fspm%3Da2c4g.11186623.2.22.6bf72638IfKzDm&lang=zh

点击此处，云消息队列 Kafka 版 V3 公测正式开启！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/323227.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

西门子消防主机控制面板显示盘维修B3Q565

西门子消防主机控制面板显示盘维修B3Q565

作为图形监控主机，负责接收并储存各消防设备主要运行状态，接收火灾报警并显示报警部位，包括火灾报警、状态监视、设备故障报警、网络故障报警﹐指挥抢险救援的活动,进行火灾信息的处理与传送，同时具备提示操作人员的功能&#xff…
阅读更多...
Time-series forecasting with deep learning: a survey

Time-series forecasting with deep learning: a survey

人们开发了许多深度学习架构来适应不同领域的时间序列数据集的多样性。在本文中，我们调查了一步前进和多水平时间序列预测中使用的常见编码器和解码器设计，描述了如何将时间信息纳入每个模型的预测中。接下来，我们重点介绍混合深度学习模型的…
阅读更多...
信息系统项目管理师好考吗？知识点分析与讲解，码住！

信息系统项目管理师好考吗？知识点分析与讲解，码住！

科目一：综合知识考试 科目一考试是由选择题组成的，共有75道题目。考试时间为早上9点到11点半，可以提前交卷，通常11点左右就能离开考场。对于会做的题目，要及时解答，对于不会做的题目，花费过多时…
阅读更多...
【EI会议征稿通知】第三届智能电网与绿色能源国际学术会议（ICSGGE 2024）

【EI会议征稿通知】第三届智能电网与绿色能源国际学术会议（ICSGGE 2024）

第三届智能电网与绿色能源国际学术会议（ICSGGE 2024） 2024 3rd International Conference on Smart Grid and Green Energy 2024年第三届智能电网与绿色能源国际学术会议（ICSGGE 2024）将于2024年4月19-21日在中国成都举行。会议…
阅读更多...
褪黑素的产生、功能、干预及其与肠道菌群的关系

褪黑素的产生、功能、干预及其与肠道菌群的关系

谷禾健康 “唉，昨晚又没睡好！” 失眠已经严重影响着一部分人们的生活。失眠后会引起烦躁、白天嗜睡、精力不足、内分泌系统紊乱、认知功能受损、免疫力下降甚至易得心脑血管疾病。 据中国睡眠研究会等机构统计，中国有超3亿人存在睡眠障碍。其…
阅读更多...
弧垂观测手段再升级！输电线路导线弧垂检测装置的应用_深圳鼎信

弧垂观测手段再升级！输电线路导线弧垂检测装置的应用_深圳鼎信

输电线路导线弧垂是指在输电线路中导线的水平位置与塔杆之间的垂直距离。导线的弧垂是确定导线张力、塔杆高度等参数的重要依据。通过测量弧垂及时调整弧垂大小对保证输电线路的安全运行具有重要作用。鼎信将介绍两种测量弧垂的方法，一起来学习一下吧！ …
阅读更多...
基于ssm+vue搭建的新闻网站论文

基于ssm+vue搭建的新闻网站论文

目 录 目 录 I 摘 要 III ABSTRACT IV 1 绪论 1 1.1 课题背景 1 1.2 研究现状 1 1.3 研究内容 2 2 系统开发环境 3 2.1 vue技术 3 2.2 JAVA技术 3 2.3 MYSQL数据库 3 2.4 B/S结构 4 2.5 SSM框架技术 4 3 系统分析 5 3.1 可行性分析 5 3.1.1 技术可行性 5 3.1.2 操作可行性 5 3…
阅读更多...
vue项目报错RangeError: Maximum call stack size exceeded

vue项目报错RangeError: Maximum call stack size exceeded

我的代码–> <script> import groupSettings from ./groupSetting.vue export default {name: groupSettings,components: {groupSettings}, </script>答应我&#xff0c;你的子组件引入名称一定不能和name一样&#xff01;&#xff01;&#xff01;
阅读更多...
HarmonyOS应用开发之ArkTS语言学习记录

HarmonyOS应用开发之ArkTS语言学习记录

1、ArkTS介绍 ArkTS是鸿蒙生态的应用开发语言。它在保持TypeScript&#xff08;简称TS&#xff09;基本语法风格的基础上&#xff0c;对TS的动态类型特性施加更严格的约束&#xff0c;引入静态类型。同时&#xff0c;提供了声明式UI、状态管理等相应的能力&#xff0c;让开发者…
阅读更多...
【激活函数】深度学习中你必须了解的几种激活函数 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 激活函数（2024最新整理）

【激活函数】深度学习中你必须了解的几种激活函数 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 激活函数（2024最新整理）

激活函数（activation function）的作用是对网络提取到的特征信息进行非线性映射，提供网络非线性建模的能力。常见的激活函数有 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 等。 1. Sigmoid 激活函数 Sigmoid 是一种常见的非线性激活函数，输入实数值并将其压缩到 (0,1) 范围内。…
阅读更多...
【无标题】浅谈安全用电管理系统应用在学生公寓中

【无标题】浅谈安全用电管理系统应用在学生公寓中

叶根胜 安科瑞电气股份有限公司 上海嘉定 201801摘要&#xff1a;安全用电是学校公寓用电管理的首要任务&#xff0c;需要识别和控制一些恶性负载&#xff0c;引入安全用电管理系统&#xff0c;以降低电工和后期管理人员的成本。本文在描述了安全用电管理系统的工作原理和智能电…
阅读更多...
原来圣诞树可以这么做

原来圣诞树可以这么做

先看结果 从上到下依次是&#xff1a; 2^0 2^1 2^2 2^3 2^4 2^5 2^6 2^7 ... 依次排下去&#xff0c;最后加4个单位数的数字 原来代码的世界里还有这个美。^V^
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023