消息队列-kafka-服务端处理架构(架构,Topic文件结构,服务端数据的一致性)

服务端处理架构

资料来源于网络
在这里插入图片描述
网络线程池:
接受请求,num.network.threads,默认为 3,专门处理客户的发送的请求。

IO 线程池:
num.io.threads,默认为 8,专门处理业务请求。也就是它不负责发送响应,发送响应还是由网络线程池处理。

当遇到性能瓶颈的时候可以适当的调整这两个参数

服务端消息存储文件布局

1 Topic 文件结构
在这里插入图片描述
Segment 文件结构
命名规则:一个 segment 的名称其实是当前 segment 第一条消息的偏移量,也就是说一个segement如果写不下了就会生成新的segment。
查找机制

  • 将所有的 segment 文件名进行生序排列然后找到偏移量最后落在哪个 segment 对象上(采用二分,因为文件名是有序的)。
  • 继续从这个 segment 里面的 .index 文件找到消息的物理偏移量,也就是对应图中的.index偏移量,最后拿着物理偏移量去 .log 文件找到最终的实体消息,非常的迅速。
    删除机制
    按照时间过期多少删(默认7天)、按照大小来删

服务端数据的一致性

其实也就是分区和副本之前的一致性。比如说我们P0有9条消息,因为每个节点同步数据(网络,IO等原因)所以导致R0 和 R3 之间的数据并不一致。
HW:高水位,消费者消费最高的位置,其实也就是木桶原理,所以只能到下面图中的第四条消息。
LEO:log写文件的最后一个位置。
ISR:也就是一个分区和备份节点的队列。比如P0,R0,R3.

如果我们的备份节点挂掉了:
1 首先它会从ISR中剔除,当恢复正常的时候,会向主分片获取 HW 高水位线,与自己的 LEO 比对,如果自己的 LEO 超过 HW 则干掉超过的部分,小于的话就从主分片复制数据过来。
2 复制的时候,如果复制之后的 LEO 与 HW 持平的话,那么就会重新加入到 ISR 同步队列中

如果我们的主分区挂掉了:
1 从ISR中剔除,选择数据最多的数据为主分片。
2 活过来的时候,发现已经有顶替的 leader 角色(主分片)了,那么就跟随,也就是向 leader 获取 HW 高水位线,与自己的 LEO 比对,大于 LEO 则删除,小于 LEO 则从 leader 这边复制数据过去。
3 复制数据的进度如果赶上了主分片的 HW 的话,那么就继续加入到 ISR 队列中。
但是我们主分片数据最多,为什么要把后面的数据干掉呢,这样不是会丢失消息吗?
这样其实是保证了数据的一致性,也就是保证分区和备份节点的都是同样的进度。
数据不丢失问题是由Producer来保证的,也就是有重试机制,如果没有发送成功的话,就会从新发送,但是消费者一侧一定要做幂等。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/513576.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

浅析扩散模型与图像生成【应用篇】(六)——DiffuseIT

6. Diffusion-based Image Translation using Disentangled Style and Content Representation 本文介绍了一种基于扩散模型的图像转换方法,图像转换就是根据文本引导或者图像的引导,将源图像转换到目标域中,如下图所示。   在图像转换中待…

拼多多3.9元的手机支架,在视频号卖15.9元

关注卢松松,会经常给你分享一些我的经验和观点。 万万没想到:拼多多3.9元的手机支架,在视频号竟然要卖15.9元。 更让人想不到的是:视频号商家竟然是从拼多多发货的,足足赚了4倍差价。 更更更让人想不到的是&#xff1a…

Vanna-ai -基于RAG的TextToSql实现方案

官方连接:Vanna.AI - Personalized AI SQL Agent 1.背景 基于大模型的TextToSql的关键为给大模型提供正确有效的数据库信息及问题,以提升大模型生成sql的正确率。database_info question形成prompt,但是实际中通常会遇到一个问题&#xff…

文物保护平台数据统计分析及预警-子系统专题分析

文物预防性监测与调控系统的监测统计分析子系统提供全面的文物状态及环境数据分析,为博物馆工作人员进行基于文物材质特性的专项保护提供相关科研辅助。主要的监测分析,包括各展厅文物统计分析、不同环境因素报表统计、以及监测调控设备统计分析等。 系统用户和文物管理人员可以…

商城免费搭建之java商城 java电子商务Spring Cloud+Spring Boot+mybatis+MQ+VR全景

1. 涉及平台 平台管理、商家端(PC端、手机端)、买家平台(H5/公众号、小程序、APP端(IOS/Android)、微服务平台(业务服务) 2. 核心架构 Spring Cloud、Spring Boot、Mybatis、Redis 3. 前端框架…

【论文阅读】(DALLE-3)Improving Image Generation with Better Captions

(DALLE-3)Improving Image Generation with Better Captions 文章目录 (DALLE-3)Improving Image Generation with Better Captions简介Method实验 引用: Betker J, Goh G, Jing L, et al. Improving image generation…

外包干了3个月,技术倒退明显

先说情况,大专毕业,18年通过校招进入湖南某软件公司,干了接近6年的功能测试,今年年初,感觉自己不能够在这样下去了,长时间呆在一个舒适的环境会让一个人堕落!而我已经在一个企业干了四年的功能测试&#xf…

【英文文献笔记记录方法】

英文文献笔记记录方法 本文是根据b站up主视频总结的文字版,方便后面自己查阅。感兴趣的话可以去看原版视频: 英文文献笔记方法 文献笔记记录的目的 深化文献阅读的理解帮助快速回忆文献内容 查看作者 主要看第一作者和通讯作者。 在谷歌学术搜索作者…

第三百八十四回

【toc] 我们在上一章回中介绍了Visibility组件相关的内容,本章回中将介绍Flutter与原生平台通信相关的内容.闲话休提,让我们一起Talk Flutter吧。 概念介绍 在移动开发领域以Android和IOS SDK开发出的应用程序叫原生开发,开发同一个程序需要…

力扣--动态规划64.最小路径和

思路分析: 基本思路: 本算法采用动态规划的思想,通过构建一个额外的二维矢量 dp 来存储每个位置的最小路径和。最终目标是求得右下角位置的最小路径和,即整个网格的最小路径和。 初始化: 初始化矢量的行数和列数&…

软件测试--性能测试实战篇

软件测试--性能测试实战篇 项目介绍和部署1. 轻商城项目介绍1.1 背景1.2 简介2. 项目功能架构3. 项目技术架构4. 熟悉数据库设计5. 轻商城项目搭建5.1 准备工作5.2 项目搭建步骤性能测试需求分析1. 性能测试需求分析1.1 如何获取有效的需求2. 性能测试点的提取2.1 性能测试点的…

基于springboot+vue的精简博客系统

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…