Kafka(消息队列)--简介

1、kafka:

        是一个高吞吐的分布式消息系统,与Hdfs比较相似,但是与hdfs的区别是在于hdfs是存储的是历史的、海量的数据,然而kafka存储的是实时的、最新的数据。

2、消息队列:

        指的是在Kafka中的数据队列。可以存放数据在峰值的时候的数据,因为在数据峰值的时候,此时的数据量比较大,对于消费者没有办法及时的消费,为了防止反压的现象,此时的数据就可以在消息队列中等待。

生产者:生产者负责产生数据

消费者:消费者负责消费数据

3、消息队列的一般的应用场景:系统之间的解耦合、峰值压力缓冲、异步通信

峰值压力缓冲的应用在Flink中:

        当数据某一时刻的产生的速度要是大于Flink的处理的速度,可以通过提高并行度来增加数据处理的速度,但是Flink是7*24小时的工作机制,就会导致资源的浪费,此时可以通过kafka来做峰值压力缓冲,就是在Flink高峰期的时候,将没办法及时处理的数据缓存在队列中,减轻Flink的压力。

4、Kafka的特点:

        1、消息系统的模型:生存者消费者模型,FIFO模型

        2、高性能:单节点支持上千个客户端

        3、持久性:消息直接持久化在磁盘上且性能比较好

        4、分布式:数据副本冗余,流量负载均衡,可扩展

        5、很灵活:消息长时间持久化+client维护消费状态

5、kafka性能比较好的原因:

        1、kafka写磁盘是顺序写的

        2、采用了sendFile的0拷贝的技术,提高速度

        3、还采用了批量写入,一批一批的写入数据,64k为一个单位。

6、kafka集群:

        1、组件:

                1、broker:使用存放数据的,也是多节点的

                2、Zookeeper:负责存储kafka的元数据

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/164634.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

阿里云99元服务器2核2G3M带宽_4年396元_新老用户同享

阿里云99元服务器新老用户同享活动 aliyunfuwuqi.com/go/aliyun 首先要在2023年11月1日去阿里云活动页下单新购这个套餐,享受99元包1年。同天再续费1年又享受了99元包1年;等到明年2024年11月1日之后,又可以以99元续1年;最后等到20…

Stable Diffusion源码调试(二)

Stable Diffusion源码调试(二) 个人模型主页:https://liblib.ai/userpage/369b11c9952245e28ea8d107ed9c2746/model Stable Diffusion版本:https://github.com/AUTOMATIC1111/stable-diffusion-webui/releases/tag/v1.4.1 分析S…

计算机毕设 基于大数据的社交平台数据爬虫舆情分析可视化系统

文章目录 0 前言1 课题背景2 实现效果**实现功能****可视化统计****web模块界面展示**3 LDA模型 4 情感分析方法**预处理**特征提取特征选择分类器选择实验 5 部分核心代码6 最后 0 前言 🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升,传统的毕…

湖泊河道水质蓝藻浮漂监测案例

湖泊河道水质蓝藻浮漂监测案例 湖泊和河道的浮漂水质监测和蓝藻治理是现代城市环境管理的重要内容之一。随着人类社会的发展,水污染问题越来越严重,而湖泊和河道作为水资源的重要组成部分,其水质的变化和污染程度直接关系到人们的生命安全和…

Ecal基于wifi下跨机通讯

4. Network configuration — Eclipse eCAL™ UDP无法通信,改成TCP配置可以通信,但是没有重连。 Ecal版本:5.12稳定 WIFI连接eCAL Cloud Configuration Not Sending/Receiving Data Correctly Issue #650 eclipse-ecal/ecal GitHub 一开始…

京东数据分析:2023年10月京东洗衣机行业品牌销售排行榜

鲸参谋监测的京东平台10月份洗衣机市场销售数据已出炉! 10月份,洗衣机市场整体销售呈上升走势。鲸参谋数据显示,今年10月,京东平台洗衣机市场的销量为143万,环比增长约23%,同比增长约1%;销售额约…

elementui-plus el-tree组件数据不显示问题解决

当前情况: 显示: 注意看右侧的树是没有文字的,数据已经渲染,个数是对的,但就是没有文字, 解决: 对比以后发现是template中的#default{data}没有写大括号导致的 所以写上大括号后: 正常显示

智慧安防:监控防盗两不误的安防视频监控系统是什么样的?

随着社会的不断发展,安全问题越来越受到人们的关注,特别是对于居住在城市里的人们来说,盗窃问题是影响他们生活质量的重要因素之一。因此,根据市场需求,以监控防盗两不误的智慧监控系统得到了广泛的推广和应用。 一般…

《微服务架构设计模式》之三:微服务架构中的进程通信

概述 交互方式 客户端和服务端交互方式可以从两个维度来分: 维度1:一对一和多对多 一对一:每个客户端请求由一个实例来处理。 一对多:每个客户端请求由多个实例来处理。维度2:同步和异步 同步模式:客户端…

前端常用的开发工具有哪些?

目录 内置管理系统的通用场景 前后端代码生成器 权限管控 开放源码 运行性能 主流数据库 写在最后 目前使用的是JNPF框架。 前端采用Vue.js,这是一种流行的前端JavaScript框架,用于构建用户界面。Vue.js具有轻量级、可扩展性强和生态系统丰富等特点&…

P02项目诊断报警组件(学习操作日志记录、单元测试开发)

★ P02项目诊断报警组件 诊断报警组件的主要功能有: 接收、记录硬件设备上报的报警信息。从预先设定的错误码对照表中找到对应的声光报警和蜂鸣器报警策略,结合当前的报警情况对设备下发报警指示。将报警消息发送到消息队列,由其它组件发送…

leetcode 221. 最大正方形

2023.11.8 本题使用动态规划来做。dp[i][j]数组代表:以坐标[i][j]为左下角,只包含 1 的正方形的边长最大值 。 遍历二维数组matrix,如果当前元素为0,则dp数组直接赋值0;如果当前元素为1,那么当前的边长最大…