Kafka 基础概念学习

基础概念学习

  • 一.基础概念
  • 二.结构图

一.基础概念

Kafka 基本概念:一种分布式的,基于发布/订阅的消息系统
项目Value
BrokerKafka服务端(即部署了Kafka的机器)
Producer生产者写数据到主副本
Consumer消费者从主副本读数据
Consumer Group消费者组,同一个组下可以订阅多个Topic,每个Topic分区不允许重复消费;多个不同组可以消费同一个Topic的同一个分区
BrokerKafka服务端一个实例(一台机器),每台实例上分布有主副本或从副本
Topic主题,所有数据基于主题和分区实现隔离与交互(多个消息队列组合)
Partition分区,对应于某个主题的一个数据分区(消息队列),提高并发读写能力
Offset偏移,某个消费在某个Topic的某个Partition下的偏移位置
Leader主副本,与生产者和消费者交互,完成数据读写
Follower从副本,从主副本同步数据,保证系统的高可用
ZooKeeper/KRaft注册中心,用于管理主题、分区、偏移量、生产者、消费者的绑定关系
Reblance重平衡,消费者心跳线程与Coordinator通信,消费者宕机等异常导致的心跳超时将触发重平衡
ISR(IN-SYNC REPLICAS)从副本同步进度,被认为不同步的Broker将被剔除出列表,无法参与主节点的选举

二.结构图

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/17773.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Cesium Token申请

一、什么是Cesium ion? Cesium ion是一个提供瓦片图和3D地理空间数据的平台,支持把数据添加到用户自己的应用程序中。 二、为什么需要access token? 使用Cesium ion需要申请access token,当用户将数据添加到自己的账户后,便可以…

springboot+MySQL大学生体质测试管理系统

功能需求分析的任务是通过详细调查大学生体质测试的测试信息管理系统要处理的所有对象,通过充分了解大学生体质测试管理系统的工作流程,明确使用者的各种需求,充分思考之后可能扩充和改变的情况,然后在这个基础上来设计数据库。

【力扣算法02】之寻找两个正序数组的中位数 - python

文章目录 问题描述示例 1示例2提示 解题思路代码分析完整代码运行效果及示例代码示例代码1效果图 示例代码2效果图 完结 问题描述 给定两个大小分别为 m 和 n 的正序(从小到大)数组 nums1 和 nums2。请你找出并返回这两个正序数组的 中位数 。 算法的时间…

每天几道高频算法题-DAY1

从今天开始 每天做几道高频算法题 备战秋招 如果有算法还没刷题的(买不起LeetCode会员的) 可以和我一起刷 题目一 给定一个有序数组arr,从左到右依次表示X轴上从左往右点的位置,给定一个正整数K,返回如果有一根长度为K的绳子,最多能盖住几个点绳子的边…

820. 递归求斐波那契数列

链接: 原题 题目: 请使用递归的方式求斐波那契数列的第 nn 项,下标从1开始。 斐波那契数列:1,1,2,3,5…1,1,2,3,5…,这个数列从第 33 项开始,每一项都等于前两项之和 输入格式 共一行,包含整数 …

卷积神经网络

目录 1、卷积运算 2、使用卷积运算实现垂直边缘检测 3、区分正边、负边 4、计算输出矩阵大小 5、边缘填充方法 6、卷积步长 7、三维卷积 8、单层卷积网络 9、卷积层的各种标记 10、简单卷积网络 11、池化层 12、卷 积 神 经 网 络 示 例 1、卷积运算 使用灰度图像…

保姆级指针进阶教程——【C语言】

在之前的博客中,我简单的介绍了什么是指针、指针的大小、运算、二级指针等等一些指针的基础知识,接下来我将带大家深入的了解一下指针,保证让大家对指针有更深刻的理解。 目录 字符指针 指针数组 数组指针 数组名VS&数组名 数组指针的…

第十二章 elk

1、ELK可以帮助我们解决哪些问题 日志分布在多台不同的服务器上,业务一旦出现故障,需要一台台查看日志 单个日志文件巨大,无法使用常用的文本工具分析,检索困难; 2、架构设计分析 Filebeat和Logstash ELK架构中使用Logstash收集、解析日志,但是Logstash对内存、cpu、i…

Spring IOC - Bean的扫描

Component及其衍生注解:Configuration、Controller、Service、Repository标记的类,被Spring IOC扫描到后,即可被容器管理起来。其原理基本涵盖在AnnotationConfigApplicationContext构造函数体的三行代码里。 public AnnotationConfigApplic…

6阶高清视频滤波驱动MS1681

MS1681 是一个单通道视频缓冲器,它内部集成6dB 增益的轨到轨输出驱动器和6 阶输出重建滤波器。MS1681 的-3dB 带宽为35MHz,压摆率为160V/us。MS1681 比无源LC 滤波器与外加驱动的解决方案能提供更好的图像质量。它单电源供电范围为2.5V 到5.5V&#xff0…

检验样本正态性

简介 在统计学中很多推论与正态分布有关,并且很多统计量构造为满足正态分布的形式,很多分布在特定条件近似于正态分布。因此,在统计推断中经常需要判断样本的正态性。本文介绍一些常用的方法。 环境和数据准备: import numpy a…

【Go】Go 语言教程--GO语言数组(十一)

往期回顾: Go 语言教程–介绍(一)Go 语言教程–语言结构(二)Go 语言教程–语言结构(三)Go 语言教程–数据类型(四)Go 语言教程–语言变量(五)Go …