高并发设计技术方案

news/2024/11/19 23:29:02/文章来源:https://www.cnblogs.com/Jas0n0ss/p/18346988

高并发设计技术方案

一、负载均衡

对于一些大型系统,一般会采用 DNS+四层负载+七层负载的方式进行多层次负载均衡

  • 算法:随机算法、轮询算法、轮询权重算法、一致性哈希算法、最小连接、自适应算法。

  • 负载均衡工具:LVS、Nginx、HAProxy

img

二、分布式微服务

常用微服务框架有:Spring Cloud 、Dubbo 、kubernetes、gRPC、Thrift

  • 按照业务划分服务,单个服务代码量小,业务单一,容易维护。
  • 每个微服务都有自己独立的基础组件,例如数据库。
  • 微服务之间的通信是通过HTTP协议或者私有协议,且具有容错能力。
  • 微服务有一套服务治理的解决方案,服务之间不耦合,可以随时加入和剔除。
  • 单个微服务能够集群化部署,有负载均衡的能力。
  • 整个微服务系统应该有完整的安全机制,包括用户验证,权限验证,资源保护。
  • 整个微服务系统有链路追踪的能力。
  • 有一套完整的实时日志系统。

img

三、缓存机制

性能不够,缓存来凑。要想快速提升性能,缓存肯定少不了,缓存能够带来性能的大幅提升。以 Memcache 为例,单台 Memcache 服务器简单的 key-value 查询能够达到 TPS 50000 以上,Redis性能数据是10W+ QPS。

img

  • 常见的缓存: 分为本地缓存分布式缓存,区别在与是否要走网络通讯。
  • 常见缓存策略:
    • Cache aside,通常会先更新数据库,然后再删除缓存,为了兜底还会设置缓存时间。
    • Read/Write through, 一般是由一个 Cache Provider 对外提供读写操作,应用程序不用感知操作的是缓存还是数据库。
    • Write behind,延迟写入,Cache Provider 每隔一段时间会批量写入数据库,大大提升写的效率。像操作系统的page cache也是类似机制。

四、分布式关系型数据库

  • MySQL数据库采用B+数索引,三层结构,为了保证IO性能,一般建议单表存储 千万 条数据。
  • 如果遇到单机数据库性能瓶颈,我们可以考虑分表。分表又可以细分为 垂直分表 和 水平分表 两种形式。

1、垂直分表

数据表垂直拆分就是纵向地把一张表中的列拆分到多个表,表由“宽”变“窄”,简单来讲,就是将大表拆成多张小表,一般会遵循以下几个原则:

  • 冷热分离,把常用的列放在一个表,不常用的放在一个表。
  • 字段更新、查询频次拆分。
  • 大字段列独立存放。
  • 关系紧密的列放在一起。

2、水平分表

表结构维持不变,对数据行进行切分,将表中的某些行切分到一张表中,而另外的某些行又切分到其他的表中,也就是说拆分后数据集的并集等于拆分前的数据集.

分库分表技术点:

  • SQl组合。因为是逻辑表名,需要按分表键计算对应的物理表编号,根据逻辑重新组装动态的SQL。
  • 数据库路由。如果采用分库,需要根据逻辑的分表编号计算数据库的编号。
  • 结果合并。如果查询没有传入指定的分表键,会全库执行,此时需要将结果合并再输出。

五、分布式消息队列

六、CDN

CDN 全称 (Content Delivery Network),内容分发网络。目的是在现有的网络中增加一层网络架构,将网站的内容发布到最接近用户的网络“边缘”,使用户可以就近取得所需的内容,提高用户访问网站的响应速度。

CDN = 镜像(Mirror)+缓存(Cache)+整体负载均衡(GSLB)。

CDN都以缓存网站中的静态数据为主,如:CSS、JS、图片和静态页面等数据。用户从主站服务器中请求到动态内容后,再从CDN下载静态数据,从而加速网页数据内容的下载速度。

img

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/779251.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【运维自动化-配置平台】如何使用云资源同步功能(腾讯云为例)

云资源同步是通过apikey去单向同步云上的主机资源和云区域信息,目前支持腾讯云和亚马逊云。主要特性 1、蓝鲸配置平台周期性的单向只读同步云主机和vpc(对应蓝鲸云区域)信息,第一次全量,后面增量 2、默认同步到主机池,也可自定义主机池模块,需要手动分配到业务 3、主机随…

Day22 第七章 回溯算法part01

77. 组合 216. 组合总和 III 17. 电话号码的字母组合任务 77. 组合 给定两个整数 n 和 k,返回范围 [1, n] 中所有可能的 k 个数的组合。 思路 组合思路 对于组合问题,是在一个集合中取不同的数,构成各种组合,本质上是一个多叉树的路径问题,即递归序遍历多叉树并收集信息,并…

有了Power BI还需要深入学习Excel图表制作吗?

Power BI和Excel都是微软公司的产品,但它们在数据分析和可视化方面有着不同的定位和功能。 Power BI是一个强大的商业分析工具,它提供了数据集成、数据建模、报告和仪表板的创建等功能。Power BI 特别适合处理大量数据,并且可以连接到多种数据源。它还支持高级的数据分析技术…

CSS3第一天(基础选择器+复合选择器)

1.选择器 基础选择器:标签选择器(某一类标签)、类选择器(一个或几个标签,最常用)、id选择器和通配符选择器标签名{属性1:属性值1;属性2:属性值2;...} 类选择器(可以多个标签使用) .类名{属性1:属性值1;...}<ul><li class="red">大雨</li…

代码随想录day22 || 77 组合,216 组合总和,17 电话号码字母组合

回溯问题回溯通常用来解决这些问题 组合问题:N个数里面按一定规则找出k个数的集合 切割问题:一个字符串按一定规则有几种切割方式 子集问题:一个N个数的集合里有多少符合条件的子集 排列问题:N个数按一定规则全排列,有几种排列方式 棋盘问题:N皇后,解数独等等回溯的通用…

freemarker实现动态行单元格合并

原文链接:https://www.cnblogs.com/10158wsj/p/11211471.html https://blog.csdn.net/weixin_43667830/article/details/106936546 项目需求:项目中有个需求,需要将一些数据库中的数据根据需求导出,生成一个word,研究了一些技术,其中包括POI、freemaker,对比了一下实现过…

Xbox Game Pass Ultimate one dollar Trial All In One

Xbox Game Pass Ultimate one dollar Trial All In One XGPU $1 美元试用 Xbox Game Pass Ultimate — 14 Day Trial Recurs MonthlyXbox Game Pass Ultimate one dollar Trial All In OneXGPU $1 美元试用Xbox Game Pass Ultimate — 14 Day Trial Recurs Monthly Xbox Game P…

代码静态测试工具 Helix QAC 2024.1版新功能解读

Helix QAC 2024.1改进了对C++20和C23语言特性的支持,并增加了分析使用多个编译器的项目的新功能。此外,Validate增强了对于搜索功能和角色权限的用户体验,并且包括一个新的问题列表的CSV下载选项。此版本还包括对于C/C++的CWE、C的HKMC和MISRA C++:2023合规模块的扩展执行,…

苹果与英伟达公开分手,谷歌 TPU 芯片成为苹果 AI 训练新利器

苹果公司发布论文公开其 AI 模型的训练细节,放弃英伟达GPU而转向选择谷歌TPU芯片。科技巨头们在尖端 AI 训练方面开始寻求更多元化的算力硬件解决方案。北京时间 7 月 30 日,苹果公司发布了一篇研究论文,论文显示苹果公司使用了谷歌开发的 TPU 芯片而非英伟达的 GPU 芯片来训…

三色法GC总结

作用:因并发标记过程中,程序还在跑。对象间的引用会发生变化,可能会导致漏标或错标情况。因此采用三色法,将扫描的各情况用颜色区别出来。 三种颜色 白色:一开始所有对象的颜色都是白色,即未扫描过的对象。 灰色:表示对象已经扫描到了,但是对象所在的引用对象,还未全部…

Dreamforce 24重磅来袭!年度盛会将有何惊喜?

作为Salesforce的旗舰会议,Dreamforce的历史已有20余年之久,是生态系统中的年度亮点。现如今,Dreamforce已经适应了线上受众的需求,通过Salesforce+提供直播和点播的参与方式。近期,Salesforce宣布Dreamforce 24将于9月17日-19日举行,一年一度的科技盛会又要开始Dreamfor…