如何打造一个高并发系统?

news/2025/1/23 17:52:46/文章来源:https://www.cnblogs.com/lmz-blogs/p/18688280

今天和大家聊聊作为一个后端开发,在实际工作中,我们如何打造一个高并发的系统?
如下图所示,大概有六个层面,我们结合具体的场景直播间签到去一一细说。

一、前端

1、打散请求即把用户的接口分散一点去请求后端,尽量不要集中在某一时刻
场景:比如直播间讲师发起了一个签到,用户去点击签到,调用签到请求接口。假设这个直播间的在线人数上百万,那么这个签到接口的请求可能会有近百万的QPS。毫无疑问,这会对后端服务造成瞬时、巨大的流量冲击。
解决措施:这种瞬时洪峰流量,我们就可以在前端对用户签到接口做打散处理。比如针对直播间的在线人数,当超过某个阈值时,做3秒内任一毫秒的分散请求。避免这些请求在大流量直播的直播间里,瞬间同时请求过来,冲垮后端服务。

2、防抖防重即在前端加上防止重复点击、重复请求后端的逻辑。比如点击签到按钮后,前端做一些类似3秒的防重复请求处理,避免用户多次点击请求到后端,这样可以减少大量无意义无效的请求。

3、服务降级:在高并发、系统压力较大或部分服务出现故障时,通过暂时减少或关闭某些功能,以保证系统的核心功能仍然能够正常运行,避免整个系统崩溃。
场景:比如在签到服务中,用户签到是核心接口,当签到服务受到流量冲击导致压力过大时,可以将除该接口外的其它功能在前端暂时屏蔽掉(可配置),这样用户就不会去请求对应的接口了,优先保证核心接口正常运行。

二、Nginx/网关

1、负载均衡:这个应该大家都比较熟悉,就是尽可能将请求均匀地打在各个服务器上,常见的有轮询策略、hash策略等,就不一一赘述了。

2、网关限流:一般我们C端的服务都会有一个统一的网关系统,实现比如用户信息获取、路由的分发、接口限流等功能。我们对于C端的接口,在上线前会经过接口压测,然后根据压测结果设置接口限流值。在高并发场景下,比如签到接口设置的是10WQPS,我们就会把在同一秒内超过10W的请求直接在网关层丢弃掉,避免将下游的签到服务打挂

三、业务层

1、同步返回:比如前端请求签到接口,我们后端会返回签到成功给前端,但实际是否成功还不确定,因为我们肯定不会实时同步去查询或者写入MySQL。毕竟我们的MySQL还是比较脆弱的,经不住上万QPS同时操作

2、异步处理:跟上面其实意思差不多,同步返回结果,但我们会将实际的数据使用中间件如kafka、RocketMQ、RabbitMQ、Redis等进行削峰,然后推送到下游,最后使用脚本去消费推送的数据进行实际的逻辑处理。

四、数据层

1、本地缓存:感兴趣的可以翻翻 我之前写的文章 。可以说本地缓存是服务器上读写性能都最高的介质了,因为本地缓存是直接操作该服务器本身的内存呀。只要内存够大,几十万、几百万的QPS都轻轻松松不在话下

2、Redis缓存:Redis缓存的性能仅此于本地缓存,一般抗10万以下的QPS用Redis就够了。Redis缓存实际上也是操作的Redis服务器的内存,只是Redis服务器和本地服务器还有网络连接。所以Redis性能会比本地缓存稍微差一点,一般同等配置可能都会差一到两个量级。

3、MySQL:这个大家应该都很熟系了,常用的分库分表、读写分离等等这时都排上用场了。

五、底层架构

1、K8s弹性伸缩在高峰期提前扩容、高峰期之后缩容。在流量突刺时快速扩容,在流量下落时缩容。k8s提供了多种灵活的弹性伸缩机制,可以根据不同场景和需求自动调整集群的资源使用,确保系统能够在负载波动时稳定运行。根据实际的应用场景,合理配置这些伸缩机制,能够有效提升系统的弹性和可用性。最重要的是,比之前使用CVM物理机,能极大地降低服务器成本

2、微服务架构:微服务架构通过将单一应用拆分成多个独立的服务,使得每个服务可以独立扩展和维护,从而提高系统的可扩展性和维护性。例如直播间红包是一个服务、直播间签到是一个服务、直播间抽奖又是另一个服务...。这些服务通常是在单独的服务去维护,尽量做到互相隔离,互不影响

六、日志监控和告警

假如现网服务出现了问题,我们如何快速地感知呢?那当然是在各个关键服务都增加日志记录,然后增加监控告警,触发某个阈值时就告警。尽量在用户感知到问题前,我们去发现到并解决。

以上,就是我们在设计高并发系统时,需要考虑的一些问题和一些解决方案。当然,这里只是讲了大的宏观架构层面,落地到具体的业务场景中,还需要结合实际情况去思考一些细节和方案,去解决实际的性能瓶颈点,这是一件非常有意思的事,希望大家都能从解决问题中收获快乐

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/873782.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

批量登录灯塔扫描的信息收集GUI工具-TDGO更新(v1.0.1)发布

GitHub: https://github.com/lxflxfcl/DTGO作者语:嘘,我正在狠狠鞭打你的灯塔 前言 上一篇文章发布的DTGO的初始版本 TDGO(灯塔狩猎者)—一款分布式灯塔信息收集工具 现在更新了一版,更新内容如下: 功能更新:主界面UI美化【由Super师傅完成】删除任务记录【删除记录时会同…

「SPOJ2666」QTREE4 - Query on a tree IV

题目概述 对一棵树维护两种操作:翻转某个点的颜色,求 \(max\{ dist_{u, v} \}\) 且满足 \(u\) 的颜色和 \(v\) 的颜色都是白色( \(u,v\) 可以相同)。 思路 首先考虑若没有修改,给定带颜色的 \(N\) 个点怎么查询。 经典办法是树形 \(\text{dp}\) ,定义\(mx_u\) 表示在 \(u…

K8S静态PVPVC配置

持久卷与动态存储 NFS-PVC-PV实战案例1、创建后端存储NFS节点 [root@web04 ~]# mkdir -pv /kubelet/pv/pv00{1..3} mkdir: created directory ‘/kubelet/pv’ mkdir: created directory ‘/kubelet/pv/pv001’ mkdir: created directory ‘/kubelet/pv/pv002’ mkdir: created…

『Python底层原理』--CPython 虚拟机

在 Python 编程的世界里,我们每天都在使用 python 命令运行程序,但你是否曾好奇这背后究竟发生了什么? 本文将初步探究 CPython(Python 中最流行的实现)的一些内部机制,为了更好的来理解 Python 语言的底层运作。 1. CPython 简介 CPython 是用** C 语言**编写的 Python …

销售转化关键:掌握真诚沟通技巧

在日常沟通中,我特别不喜欢别人一上来就问“在吗”,或者只是单纯地发一个“微笑”表情。这种开场方式,总觉得少了点诚意和温度。 如果真的有事需要找人帮忙,与其冷冰冰地问“在吗”,不如先亲切地喊出对方的名字或昵称,然后再直截了当地说明来意。这样不仅能让对方感受到你…

万不得已,千万不要去外包

之前的失业日志系列里有讲,现在的就业环境不太好,有面试机会的基本都是外包岗位。刚好之前公司和外包有几次合作,主要是把一部分或者整个项目外包的外包公司,我们技术人员负责一部分的技术支持,通过几次的合作,对外包的工作也有可一个大概的了解,想谈一下自己对外包的了…

杂项-在vscdoe上使用jupyter notebook写javascript

目录准备安装notebook对javascript的支持进一步优化支持es6安装npm包将notebook集成到vsc中去 准备python / Anaconda :推荐专业的Python开发人员使用Anaconda进行包管理和版本控制安装jupyter notebook。pip3 install jupyter notebook 正常下载之后选择一个工作目录执行jupyt…

字节 GUI 代理模型 UI-TARS:具备像人一样的感知、推理、行动能力;SLAM-Omni:支持可控音色的语音对话模型

开发者朋友们大家好:这里是 「RTE 开发者日报」 ,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE(Real-Time Engagement) 领域内「有话题的 新闻 」、「有态度的 观点 」、「有意思的 数据 」、「有思考的 文章 」、「有看点的 会议 」,但内容仅代表编辑…

htb Pandora walkthrough snmp + ssh 隧道 + 环境变量劫持

80端口web界面划到最下面发现两个邮箱 记录一下尝试加上域名dirsearch 扫描只扫到一个assets目录但是值得注意的是这个目录里面有个blog目录 也就意味着他的网站是有博客网站的 只是我们没扫描出来扫扫udp端口发现161 的 snmp是开着的用nmap 枚举进程 nmap -sU -p161 --script …

IT-Tools-开源好用的IT工具集

访问地址: 线上访问:https://it-tools.tech/ 开源社区:https://github.com/CorentinTh/it-tools 支持私有化部署: docker run -d --name it-tools --restart unless-stopped -p 8080:80 ghcr.io/corentinth/it-tools:latest简要介绍: IT-Tools 是为开发人员提供的在线工具…

4.4.2 版本更新来了!全新内容抢鲜看

产品更新概览 功能新增: 新版API支持在进行数据解析选择JSON节点时,全选下一层节点。 功能修复: 修复新版API认证功能; 修复报表后台系统用户权限问题。 功能优化: 支持在Linux X64版本上连接神通数据库; 支持连接2.x版本的TDengine数据库。 功能新增 在山海鲸可视化4.4.…

分享给大家一款网站四合一缩略图生成在线工具

​ 今天,我们要介绍一款能够极大提升网页设计和测试效率的工具——3M万能在线工具箱中的“四合一网页设备缩略图”生成工具。 为什么需要四合一缩略图生成在线工具? 在网页设计和开发过程中,确保网页在不同设备上(如台式机、笔记本电脑、平板电脑和手机)都能完美显示是至关…