思维训练-怎样设计一个MQ

架构师需要做各种设计,要不断地提高自己的设计能力。这有没有方法可以训练呢?有的,就是看到什么、想到什么,就假设对面坐着产品经理,一起讨论怎么把它设计出来。比如怎样设计一个MQ

我:首先我确认一下需求。从功能性需求和非功能性需求两方面来看。先看功能性需求:要设计MQ,本身来说就要求: 发送、接收和存储,存储是先进先出的。那还有其他的需求吗?比如我是只需要在程序逻辑中用JVM内实现,还是需要跨进程、跨平台?

产品经理:需要跨进程、跨平台

我:那假设发送端是producer、接收端是consumer,存储端是broker。i那就需要解决broker与两端的通信问题。可以使用成熟的RPC框架,这样就不需要考虑 服务注册与发现、负载均衡和序列化方式的问题了。

先把最简单的架构图画出来:

ffbecad24e3a17c042dddfeae299628e.png

需要支持发布订阅吗?

产品经理:需要支持发布订阅

我:可以给发布的消息设置主题,将一类消息发布到同一个主题中,消费端来订阅相关主题的消息。

85a8692a6b610449256cb456569705ce.png

再来考虑一下非功能需求。在高可用方面有什么要求吗?

产品经理:需要保证高可用

我:可以使用多副本模式增加复制因子(kafka MQ里有个主题复制因子的概念,其实就是副本数)来提高可用性,通过服务注册与发现、超时与重试、负载均衡、发送和消费时的ack来保证可用性。存储方面,对性能和可靠性有要求吗?

产品经理:有要求怎么办,没有要求怎么办呢?

我:如果不追求很高的性能可以使用数据库等方案。可靠性要求不高的话直接用内存或者分布式缓存也可以。追求性能的话,目前主流的方式是采用追加写日志顺序写盘+索引文件的方式。索引设计上可以考虑稀疏或者稠密索引(稠密索引是所有的数据条目都能通过索引找到,稀疏索引是数据分段出现在索引中,通过索引可以找到第一个数据的地址,再通过第一个数据找到想要的数据)。查找消息可以采用跳表或者二分查找等。还可以通过操作系统的页缓存和零拷贝等技术来提高操作系统的读写性能。

对吞吐量有什么要求?

产品经理:需要每秒处理500M的消息

我:kafka单节点处理能力在每秒100M左右,那就需要建立多个分区来进行水平扩展。如果没有特殊要求的话,生产端到分区,分区到消费端都可以采用轮询的策略来进行分区分配。

产品经理:有的消息,需要保证它的顺序,这个需要处理一下。

我:可以在生产端到分区的分配策略上,如果指定了分区就发到指定分区,如果指定了key可以按照key来进行hash分配,如果这两个都没指定再按照轮询来分配。这样,指定了分区的和指定了key的都会发到一个分区中,在同一个分区中的消息是有序的。

总结

按照这种思维方式思考下去,MQ的原理都可以思考地很明白,同时也提高了设计能力。思考的过程中还会将具体的用词在脑子过一遍,有些不清楚可以通过搜索学习来让自己的用词更加专业,从而达到一个总体的技术提升。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/309056.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java设计模式-外观模式

目录 一、影院管理项目 二、外观模式 (一)基本介绍 (二)原理类图 (三)解决影院管理 (四)注意事项和细节 (五)外观模式在MyBatis框架应用的源码分析 一…

计算机毕业设计------ssm茶叶溯源系统

项目介绍 茶叶溯源系统,分为前台与后台。普通用户可在前台通过18位的编码查询茶叶的出售历史。 后台分为两种角色,管理员与经销商; 管理员主要功能包括: 主界面; 管理员管理:管理员列表、添加管理员&am…

AIGC系统ChatGPT系统源码,Midjourney绘画,GPT语音对话+ChatFile文档对话总结+DALL-E3文生图+思维导图一站式解决方案

一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型国内AI全模型。本期针对源码系统整体测试下来非常完美,可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作Ch…

基于Java网上点餐系统设计与实现

博主介绍: ✌至今服务客户已经1000、专注于Java技术领域、项目定制、技术答疑、开发工具、毕业项目实战 ✌ 🍅 文末获取源码联系 🍅 👇🏻 精彩专栏 推荐订阅 👇🏻 不然下次找不到 Java项目精品实…

人工智能工程师的前景怎么样

人工智能是未来的发展趋势,因此,人工智能工程师也将成为就业爆款。人工智能工程师负责创建和开发自动化系统、算法和机器学习模型,以实现自主决策和任务执行。由于人工智能在可穿戴设备、家庭自动化、智能城市和自动驾驶等领域都有广泛应用&a…

Unity之组件的生命周期

PS:第二天,依旧在摸鱼学unity 一、组件的概念 我本身是由Web后端转到了游戏后端,最近因为工作原因在学ET框架。学到了 ECS 编程模式开发(E —— Entity,C —— Component , S —— System)实体、…

简单了解SQL宽字节注入与httpXFF头注入(基于sqllabs演示)

1、宽字节注入 sqllabs-less-32为例 使用单引号进行测试 提示我们输入的单引号被转义符 \ 进行了转义,即转义符自动的出现在输入的特殊字符前面,这是防止sql注入的一种方法,导致无法产生报错。 这种情况我们就可以尝试宽字节注入&#xff…

PLC电机正反转控制程序示例

一、对于三相电源线的电动机,反转只需要任意的交换两根电源线即可 二、例如接通KM1对应正转的话,则接通KM2则对应反转 三、电机正转按钮及其对应的地址 四、电机反转按钮及其对应的地址 五、电机停止按钮及其对应的地址 六、正转的接触器线圈 七、反转的…

2023年终总结

前言: 嘻嘻,12月底广州降温了又到了写年终总结的时间,这也是我第二年写年终总结。今年的年终总结主要记录了我大三下学期和大四上学期这两个时间段的学习和收获,也是我尝试走出校园,接触社会的第一年(感触…

【MySQL】数据库之小题练习(完全备份和增量备份的数据恢复,以及断点恢复)

目录 先创建库,创建表,完成三次数据的录入以及第一次的完全备份,第二次和第三次的增量备份; 第一次完全备份操作 第二次插入后做增量备份操作 第三次 插入后做增量备份操作 1、完全备份恢复,获取一班的人的成绩 …

【人工智能新闻】2023年人工智能热门新闻

欢迎收看我们的特别版时事通讯,重点报道“2023年人工智能热门新闻”今年是人工智能领域的里程碑,展示了重塑技术和我们日常生活的突破性进步和创新。从大型企业投资到革命性的技术发布,2023年的每个月都带来了非凡的成就。 加入我们&#xf…

Spring 是如何解决循环依赖的

1.什么是循环依赖? 所谓的循环依赖是指,A 依赖 B,B 又依赖 A,它们之间形成了循环依赖。或者是 A 依赖 B,B 依赖 C,C 又依赖 A。它们之间的依赖关系如下: 2.通过手写代码演示理解Spring循环依赖 DEMO: pu…