Pulsar 社区周报 | No.2024.03.08 Pulsar-Spark Connector 助力实时计算

关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址:http://github.com/apache/pulsar/

导语

各位热爱 Pulsar 的小伙伴们,Pulsar 社区周报更新啦!
这里将记录 Pulsar 社区每周的重要更新,周五发布。

首先感谢以下的小伙伴,感谢你们本周为 Apache Pulsar 做的精彩贡献(排名不分先后)

e58dda1c358ca9d5a47e2759f8826455.png

@BewareMyPower,@RobertIndie,@Technoboy-,@coderzc,@crossoverJie,@dao-jun,@dependabot[bot],@dragosvictor,@gaoran10,@hangc0276,@heesung-sn,@horizonzy,@jiangpengcheng,@lhotari,@mattisonchao,@nathanclayton,@poorbarcode,@shibd,@thetumbled,@zymap

Pulsar-Spark Connector 助力实时计算

a4caf7d3fb1666e72505164081c42892.png

StreamNative 和 Databricks 联合推出的 Pulsar-Spark  Connector 连接器,为实时数据处理领域带来了新的工具。此次合作将 Apache Pulsar 的分布式消息传递与 Apache Spark 的大数据处理能力相结合,促进了数据从采集到分析的无缝衔接。

重要特性

[feat][misc] PIP-264: 使用 OpenTelemetry 记录 topic lookup 指标https://github.com/apache/pulsar/pull/22058 @dragosvictor

[improve][broker] REST API 使用细粒度权限控制访问https://github.com/apache/pulsar/pull/22202  @mattisonchao

[improve][client] 使用 physicalAddress 和 logicalAddress 组合作为连接池的 keyhttps://github.com/apache/pulsar/pull/22196 @heesung-sn

[improve][fn] 为 connector 和 functions 配置包位置目录
https://github.com/apache/pulsar/pull/22184 @lhotari

重要修复

[fix][client] 当 broker 禁用自动创建订阅时跳过重试创建订阅https://github.com/apache/pulsar/pull/22164 @Technoboy-

[fix][client] GenericProtobufNativeSchema 实现 getNativeSchema 方法https://github.com/apache/pulsar/pull/22204 @shibd

[fix][client] 当 seek 成功后 Reader.hasMessageAvailable 能够返回正确的值https://github.com/apache/pulsar/pull/22201 @BewareMyPower

生态进展

[pulsar-client-go] 为 getPartitionedStats 新增可选参数https://github.com/apache/pulsar-client-go/pull/1193 @crossoverJie

[pulsar-client-cpp] 添加 physicalAddress 作为连接池的 keyhttps://github.com/apache/pulsar-client-cpp/pull/411 @heesung-sn

活动新闻

2024年3月 5 日:StreamNative 和 Databricks 联合推出 Pulsar Spark Connector,为实时数据处理提供助力。[1]

2024年3月 6日:StreamNative 宣布开源 Oxia Java 客户端 [2]

2024年5月 14 日:2024 Pulsar 欧洲虚拟峰会 [3]

2024 年 7 月 26-28 日:阿帕奇软件基金会亚洲大会(CommunityOverCode Asia 2024)Messaging 专题[4]

引用链接

[1] StreamNative and Databricks Unite to Power Real-Time Data Processing with Pulsar-Spark Connector:https://www.databricks.com/blog/streamnative-and-databricks-unite-power-real-time-data-processing-pulsar-spark-connector

[2]The Oxia Java Client Library is Now Open Source:https://streamnative.io/blog/the-oxia-java-client-library-is-now-open-source

[3] Pulsar Virtual Summit Europe 2024:https://sessionize.com/pulsar-virtual-summit-europe-2024

[4]CommunityOverCode Asia 2024 议题征集正式启动!:https://mp.weixin.qq.com/s/byAbsKwC7XofWwxGBiylCw

73437bb73a9fc41a936199ca1ce31829.png

2ad440dff973c531f064362efa556111.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/526365.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

201909 青少年软件编程(Scratch)等级考试试卷(一级)

第1题:【 单选题】 小明在做一个采访的小动画,想让主持人角色说“大家好!”3秒钟,用下列程序中的哪一个可以实现呢?( ) A: B: C: D: 【正确答案】: B 【试题解析】 : 第2题&#xff1a…

【STM32】HAL库 CubeMX 教程 --- 通用定时器 TIM2 定时

实验目标: 通过CUbeMXHAL,配置TIM2,1s中断一次,闪烁LED。 一、常用型号的TIM时钟频率 1. STM32F103系列: 所有 TIM 的时钟频率都是72MHz;F103C8不带基本定时器,F103RC及以上才带基本定时器。…

PostgreSQL中In, Exists在SQL查询中到底有无区别

前言 SQL查询当中,In和Exists子查询到底有无区别?记得很多年以前,确实是有相关的使用戒条的,或者说存在一些使用的惯用法。试图完全抹开两者的区别,就有点过了。 两者的主要区别: 从目的上讲&#xff0c…

【数据库-黑马笔记】基础-函数和约束

本文参考b站黑马数据库视频,总结详细全面的笔记 ,可结合视频观看27~36集 MYSQL 的基础知识框架如下 目录 一、 函数 1、字符串函数 2、数值函数 3、日期函数 4、流程函数 5、小结: 二、约束 1、概述 2、 约束演示 3、外键约束 …

数据库-第十一章 并发控制【期末复习|考研复习】

前言 总结整理不易,希望大家点赞收藏。 给大家整理了一下数据库系统概论中的重点概念,以供大家期末复习和考研复习的时候使用。 参考资料是王珊老师和萨师煊老师的数据库系统概论(第五版)。 数据库系统概论系列文章传送门: 第一章 绪论 第二/…

微信私信短剧机器人源码

本源码仅提供参考,有能力的继续开发 接口为api调用 云端同步 https://ys.110t.cn/api/ajax.php?actyingshilist 影视搜索 https://ys.110t.cn/api/ajax.php?actsearch&name剧名 每日更新 https://ys.110t.cn/api/ajax.php?actDaily 反馈接口 https://ys.11…

在线部署ubuntu20.04服务器,安装jdk、mysql、redis、nginx、minio、开机自启微服务jar包

一、服务器 1、查看服务器版本 查看服务器版本为20.04 lsb_release -a2、服务器信息 服务器初始账号密码 sxd / 123456 首先,更改自身密码都输入123456 sudo passwd 创建最高权限root账号,密码为 123456 su root 3、更新服务器源 1、更新源列表 sudo apt-g…

【零基础学习01】嵌入式linux驱动中pinctrl和gpio子系统实现

大家好,为了进一步提升大家对实验的认识程度,每个控制实验将加入详细控制思路与流程,欢迎交流学习。 今天给大家分享一下,linux系统里面pinctrl和gpio子系统控制实验,操作硬件为I.MX6ULL开发板。 第一:pinctrl和gpio子系统简介 Linux系统是一个庞大又完善的系统,如果采用…

Day19:信息打点-红蓝队自动化项目资产侦察武器库部署企查产权网络空间

目录 各类红蓝队优秀工具项目集合 自动化-武器库部署-F8x 自动化-网络空间-AsamF 自动化-企查信息-ENScan 自动化-综合架构-ARL&Nemo 思维导图 章节知识点 Web:语言/CMS/中间件/数据库/系统/WAF等 系统:操作系统/端口服务/网络环境/防火墙等 应…

DataFunSummit 2023:洞察现代数据栈技术的创新与发展(附大会核心PPT下载)

随着数字化浪潮的推进,数据已成为企业竞争的核心要素。为了应对日益增长的数据挑战,现代数据栈技术日益受到业界的关注。DataFunSummit 2023年现代数据栈技术峰会正是在这样的背景下应运而生,汇聚了全球数据领域的精英,共同探讨现…

多维时序 | Matlab实现BiGRU-Mutilhead-Attention双向门控循环单元融合多头注意力机制多变量时序预测

多维时序 | Matlab实现BiGRU-Mutilhead-Attention双向门控循环单元融合多头注意力机制多变量时序预测 目录 多维时序 | Matlab实现BiGRU-Mutilhead-Attention双向门控循环单元融合多头注意力机制多变量时序预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1.多维时序 …

JVM的工作流程

目录 1.JVM 简介 2.JVM 执行流程 3. JVM 运行时数据区 3.1 堆(线程共享) 3.3 本地方法栈(线程私有) 3.4 程序计数器(线程私有) 3.5 方法区(线程共享) 4.JVM 类加载 ① 类…