分布式系统的发展史

目录

🐳今日良言:且视他人之疑目如盏盏鬼火,大胆地去走自己的夜路

🐇一、常见概念

🐇二、发展史


今日良言:且视他人之疑目如盏盏鬼火,大胆地去走自己的夜路

一、常见概念

在正式介绍分布式系统之前,让我们先来了解一下分布式相关的一些常见概念。

应用(Application)/ 系统(System)

为了完成⼀整套服务的⼀个程序或者⼀组相互配合的程序群。

举例:为了完成一项任务,由此搭建的由一个人活着一群相配合的人组成的团队

模块(Module)/ 组件(Component)

当应用较复杂时,为了分离职责,将其中具有清晰职责的、内聚性强的部分,抽象出概念,便于理解。

举例:军队中为了进⾏某据点的攻克,将人员分为突击小组、爆破小组、掩护小组等。

分布式(Distributed)

系统中的多个模块被不属于不同服务器之上,就可以将这个系统称为分布式系统。比如:Web 服务器和数据库分别在不同服务器上工作或者多台 Web 服务器被分别部署在不同服务器上。

举例:在疫情期间,无法到公司上班,因此,为了某些工作需要,原来在同一个办公室工作的的小组成员被分散到一个城市的不同场地或者多个城市的不同场地进行远程配合工作完成目标。

跨主机之间的模块间的通信基本要记住网络支撑完成。

集群(Cluster)

被部署于多台服务器上的,为了实现特定目标的一个/组特定的组件,整个整体被称为集群。

举例1:多个MySQL工作在不同服务器上,共同提供数据库目标服务,由此可以被称为一组数据库集群。

举例2:广义的集群:只要是多个机器,构成了分布式系统,都可以称为是一个“集群”。

举例3:狭义的集群:redis 提供的集群模式,这个集群模式之下,主要是解决存储空间不足的问题(拓展存储空间)。

主(Master)/ 从(Slave)

集群中,通常有一个程序需要承担更多的责任,被称为主。其他承担附属职责的被称为从。

举例:学校小组任务一般会选举一个组长,组长就需要承担比组员更多的责任,而组员就需要承担另外一些责任来配合组长完成任务。

中间件(Middleware)

可以理解成一种软件,它可以帮助不同的应用系统之间进行沟通和数据交换。

举个例子:可以想象一个邮局的场景:

  • 邮局作为中间件:假设你住在城市A,你的一个朋友住在城市B,你们两个都想要互相寄送信件。如果没有邮局(中间件),你们可能需要自己亲自前往对方的城市去递送信件,这不仅耗时耗力,而且效率低下。而有了邮局这样的服务机构(中间件),你们只需要将信件交给邮局,邮局会负责将信件从城市A运送到城市B,并最终交到你朋友的手中。这样,即使你们身处不同的地方,也能轻松地通信。
  • 邮局提供的服务:邮局不仅仅提供传递信件的服务,还提供了如挂号、保险、快递等多种服务(共性功能),这些都是为了满足不同客户的需求而设计的。无论客户需要哪种服务,邮局都能提供相应的解决方案,这样就避免了每个人为了寄信而自己建立一套复杂的传送系统的情况。

总的来说,中间件就像是一个连接不同应用和服务的桥梁,它提供了一种便捷的方式来实现资源共享和功能共享。在技术领域中,中间件的存在极大地简化了复杂系统的开发和维护工作,提高了软件的复用性和效率。

二、发展史

在介绍完了分布式相关的一些常见概念之后,接着就上主菜了,让博主来介绍一下分布式系统是如何蓬勃发展,如今这么火爆的。

2.1单机架构

在初始阶段,小型系统的应用程序、数据库、文件等所有资源都部署在一台服务器上,这通常被称为LAMP(Linux, Apache, MySQL, PHP)架构。

2.2 功能分离架构

随着系统上线,我们收获了一些忠实用户,这使得系统的访问量逐步上升,逐渐逼近了硬件资源的极限。面对当前的性能压力,我们需要进行系统重构,以提升系统的承载能力以,因此,我们可以选择将应用和数据分离,放到不同的主机上部署。

 2.3应用服务器集群架构

我们的系统被广大用户所喜爱,单台应用服务器已经无法满足需求了,针对这种情况,我们了解到右两种方案可以解决这个问题:

垂直扩展 / 纵向扩展 Scale Up。
通过购买性能更优、价格更⾼的应⽤服务器来应对更多的流量。这种方案的优势在于完全不需要对系统软件做任何的调整;但劣势也很明显:硬件性能和价格的增长关系是⾮线性的,意味着选择性能 2 倍的硬件可能需要花费超过 4 倍的价格,其次硬件性能提升是
有明显上限的。
⽔平扩展 / 横向扩展 Scale Out。
通过调整软件架构,增加应用层硬件,将用户流量分担到不同的
应用层服务器上,来提升系统的承载能⼒。这种⽅案的优势在于成本相对较低,并且提升的上限空间也很大。但劣势是带给系统更多的复杂性,需要掌握更丰富的经验。

 经过深思熟虑,我们决定使用水平扩展的方案来解决这个问题,但是和需要引入一个新的组件---负载均衡;为了解决用户流量向哪台应用服务器分发的问题,需要⼀个专门的系统组件做流量分发。

实际中负载均衡不仅仅指的是工作在应用层的,甚至可能是其他的网络层之中。同时流量调度算法也有很多种,这⾥简单介绍几种较为常见的:
Round-Robin 轮询算法
即非常公平地将请求依次分给不同的应用服务器。
Weight-Round-Robin 轮询算法
为不同的服务器(比如性能不同)赋予不同的权重(weight),能者多劳
一致性哈希散列算法
通过计算⽤⼾的特征值(比如 IP 地址)得到哈希值,根据哈希结果做分发,优点是确保来相同用户的请求总是被分给指定的服务器。也就是我们平时遇到的专项客⼾经理服务。

 2.4读写分离/主从分离架构

在上述的架构里,无论扩展多少台服务器,这些请求最终都会从数据库读写数据,到一定程度之

后,数据的压力就是系统承载能力的瓶颈点,

此时,不妨想想,我们是否可以像扩展应用服务器一样扩展数据库服务器?

答案是否定的,因为数据库服务有特殊性。

如果将数据分散到各台服务器之后,数据的⼀致性将⽆法得到保障。所谓数据的⼀致性,此处是指:针对同⼀个系统,无论何时何地,我们都应该看到⼀个始终维持统⼀的数据。想象⼀下, 银行管理的账⼾⾦额,如果收到⼀笔转账之后,⼀份数据库的数据修改了,但另外的数据库没有修改,则用户得到的存款⾦额将是错误的。

因此,就得采用另一种方法。

我们保留一个主要的数据库作为写入的主数据库,其他的数据库作为从属数据库。从库的所有数据都来自主库,经过数据同步后,从库可以维护与主库一致的数据,然后为了分担数据库的压力,我们可以将写数据请求全部交给主库处理,但读请求分散给所有从库。在绝大多数系统中,读请求是远大于写请求的,所以,将读请求分散给各个从库以后,数据库的压力就没那么大了。

 2.5引入缓存-冷热分离架构

随着访问量持续增加,我们发现业务中一些数据的读取频率远大于其他数据的读取频率。比如:dy搜索框会展示每天的热搜词,这部分数据就是当天读取频率比较多的数据。我们把这部分数据成为热点数据。与之相对应的,就是冷数据。

针对热数据,我们想要提高它们的读取相应时间,因此,可以增加本地缓存,并在外部增加分布式缓存。通过缓存,就能避免有大量的请求同时操作数据库,作为一面护盾,为数据库 “抵挡伤害”,避免数据库宕机。

2.6 垂直分库(分库分表)

 

随着业务的数据量增大,大量的数据存储在同⼀个库中已经显得有些力不从心了,所以可以按照业务,将数据分别存储。比如针对评论数据,可按照商品ID进⾏hash,路由到对应的表中存储;针针对支付记录,可按照小时创建表,每个小时表继续拆分为小表,使用用户ID或记录编号来路由数据。只要实时操作的表数据量足够小,请求能够⾜够均匀的分发到多台服务器上的⼩表,那数据库就能通过

水平扩展的方式来提⾼性能。这种做法显著的增加了数据库运维的难度,对DBA的要求较⾼。数据库设计到这种结构时,已经可以称为分布式数据库,但是这只是⼀个逻辑的数据库整体,数据库里不同的组成部分是由不同的组件单独来实现的,如分库分表的管理和请求分发,由Mycat实现,SQL的解析由单机的数据库实现,读写分离可能由网关和消息队列来实现,查询结果的汇总可能由数据库接口层来实现等等,这种架构其实是MPP(大规模并行处理)架构的⼀类实现。

 2.7业务拆分-微服务

随着⼈员增加,业务发展,我们将业务分给不同的开发团队去维护,每个团队独⽴实现自己的微
服务,然后互相之间对数据的直接访问进⾏隔离,可以利⽤ Gateway、消息总线等技术,实现相互之间的调⽤关联。甚⾄可以把⼀些类似⽤⼾管理、安全管理、数据采集等业务提成公共服务。

总的来说,分布式系统的发展是一个从简单到复杂,从单一到复合的过程,它不仅涉及技术的迭代和创新,还包括对系统稳定性、扩展性和并发性的不断追求。所谓的分布式系统,就是想办法引入更多的硬件资源。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/571443.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【AutoML】一个用于图像、文本、时间序列和表格数据的AutoML

一个用于图像、文本、时间序列和表格数据的AutoML AutoGluon介绍安装AutoGluon快速上手 参考资料 AutoGluon自动化机器学习任务,使您能够在应用程序中轻松实现强大的预测性能。只需几行代码就可以训练和部署有关图像,文本,时间序列和表格数据…

Python学习:函数

函数定义 在Python中,函数(Function)是一组用于完成特定任务或计算的语句块。定义函数可以让我们将一段代码重用多次,提高代码的可读性和可维护性。以下是定义函数的基本语法和结构: def function_name(parameters):&…

开通抖音小店后要做什么?这个流程你必须知道!建议收藏避免遗漏

哈喽~我是电商月月 在入驻抖音小店前,大家了解的抖店步骤应该是:入驻-选品-找达人-售后 但真的入驻后大家可不敢这样做!操作不当可能违规,严重的还会扣除保证金,做清店处理 这些细节流程大家一定要知道,…

3D开发工具HOOPS更新:高效、轻量化模型处理再突破!

随着数字化转型的深入发展,高性能图形显示成为了软件开发领域的重要研究方向。在众多工具和库中,HOOPS因其强大的三维图形处理能力而受到广泛关注。 HOOPS也与时俱进,持续更进与创新,近期又推出了一系列新功能,这些功…

鸿蒙开发之了解ArkTS

鸿蒙开发者官网 : https://developer.huawei.com/consumer/cn/ 开发鸿蒙要用的软件是 DevEco Studio ArkTS建立在JS和TS的基础之上,扩展了声明式UI开发范式和状态管理,提供更简洁和自然的开发方式。 ArkTS引入了渲染引擎的增强&#xff0c…

【Java】IDEA集成开发工具中英文切换

大家好,我是全栈小5,欢迎阅读小5的系列文章。 这是《Java》系列文章,每篇文章将以博主理解的角度展开讲解, 特别是针对知识点的概念进行叙说,大部分文章将会对这些概念进行实际例子验证,以此达到加深对知识…

怎么批量修改文件名中的一部分?

怎么批量修改文件名中的一部分?批量修改文件名中的一部分文字是我们在处理大量文件时经常需要做的任务之一。这项工作可以极大地提高工作效率,节省宝贵的时间。无论是对于个人用户还是企业组织来说,都是非常实用的技能。首先,批量…

王者荣耀国服诸葛亮 - 教学视频(最新)

01. 英雄定位与技能机制02. 不同铭文下的不同出装(上)03. 不同铭文下的不同出装(下)04. 两道锦囊教你玩转金身05. 诸葛最无敌的2套连招06. 对线干将07. 对线扁鹊08. 对线王昭君09. 单排9胜率的黄金中单法则总概10. 中单打钱思路11…

C# 登录界面代码

背景 MVVM 是一种软件架构模式,用于创建用户界面。它将用户界面(View)、业务逻辑(ViewModel)和数据模型(Model)分离开来,以提高代码的可维护性和可测试性。 MainWindow 类是 View&a…

基于springboot实现网页时装购物系统项目【项目源码+论文说明】计算机毕业设计

基于springboot实现时装购物系统演示 摘要 随着科学技术的飞速发展,社会的方方面面、各行各业都在努力与现代的先进技术接轨,通过科技手段来提高自身的优势,时装购物系统当然也不能排除在外。时装购物系统是以实际运用为开发背景&#xff0c…

Android Studio Iguana | 2023.2.1 补丁 1

Android Studio Iguana | 2023.2.1 Canary 3 已修复的问题Android Gradle 插件 问题 295205663 将 AGP 从 8.0.2 更新到 8.1.0 后,任务“:app:mergeReleaseClasses”执行失败 问题 298008231 [Gradle 8.4][升级] 由于使用 kotlin gradle 插件中已废弃的功能&#…

算法打卡day29|贪心算法篇03|Leetcode 1005.K次取反后最大化的数组和、134. 加油站、135. 分发糖果

算法题 Leetcode 1005.K次取反后最大化的数组和 题目链接:1005.K次取反后最大化的数组和 大佬视频讲解:K次取反后最大化的数组和视频讲解 个人思路 思路清晰,因为是取反当然是取越小的负数越好,那么先按绝对值排序。如果是负数就取反&#…