MySQL知识点总结(七)——主从复制、读写分离、高可用

MySQL知识点总结(七)——主从复制、读写分离、高可用、分库分表

  • 主从复制
    • 主从复制原理
    • 主从复制配置
      • 主节点
      • 从节点
    • 主从复制的多种类型
      • 一主一从
      • 一主多从
      • 多主一从
      • 双主复制
      • 级联复制
    • 主从复制的多种模式
      • 异步复制
      • 全同步复制
      • 半同步复制
    • 主从复制延迟及其解决办法
  • 读写分离
    • 读写分离的实现方式
    • 读写分离如何保证写入马上可被读取到
  • 高可用
    • MMM
    • MHA
    • MGR
  • 分库分表
    • 垂直分库
    • 垂直分表
    • 水平分库 & 水平分表

主从复制

在生产环境,通常会给MySQL配置主从同步,一方面是可以达到热备的效果,当主节点宕机,从节点可以顶上,另一方面是从节点可以提供查询以缓解主节点的压力。

主从复制原理

在这里插入图片描述

首先,如果我们要配置主从复制,第一步肯定是要开启主节点的binlog,因为主从复制是基于binlog的。当我们开启了主节点的binlog之后,主节点执行的增删改SQL都会写入到binlog中。

当主节点接收到从节点的主从复制的请求后,会开启一个Dump线程,专门进行主从复制。Dump线程会读取主节点上的binlog,发送到从节点。

当从节点开启主从复制后,会开启一个IO线程,请求主节点进行主从复制。IO线程会接收到由主节点的Dump线程发来的binlog,写入到从节点的relay log(中继日志)。

然后从节点还会开启一个SQL线程,读取relay log,然后执行relay log中的SQL,应用到从节点。

主从复制配置

在这里插入图片描述

主节点

首先主节点要开启binlog配置,并且设置一个全局唯一的id号。我们要修改MySQL的my.cnf配置文件,添加两行配置:

log-bin=mysql-bin
server-id=200

“log-bin=mysql-bin”表示启用binlog日志,“server-id=200”表示给当前服务器配置一个唯一id“200”。

然后要重启MySQL服务器:

systemctl restart mysqld

最后,还要创建一个用于主从复制的账号,并给该账号授权:

GRANT REPLICATION SLAVE ON *.* to '账号'@'%' identified by '密码';

然后就可以查看主节点上的binlog文件和位点,并记录下来:

show master status;

从节点

从节点也必须配置一个全局唯一的id号,也是在my.cnf中配置:

server-id=201 	#[必须]服务器唯一ID

然后要重启MySQL:

systemctl restart mysqld

重启完成后,要登录上MySQL,设置主库地址和binlog的同步位点:

change master to master_host='主库地址',master_user='主从同步账号',master_password='主从同步账号的密码',master_log_file='binlog日志文件',master_log_pos=同步位点;

然后输入“start slave”命令开始主从复制:

start slave;

最后可以通过通过“show slave status”命令返回的结果中显示的Slave_IO_running 和 Slave_SQL_running两个字段的值是否为yes判断主从复制是否就绪。

show slave status

主从复制的多种类型

上面是一主一从的配置,是最简单的一种主从复制。除此之外,我们还可以配置其他类型的主从复制,配置方法都是相同的。主从复制的类型包括:一主一从、一主多从、多主一从、双主复制、级联复制。

一主一从

在这里插入图片描述

一主一从是最简单最普通的主从复制类型,基于一主一从的主从复制,就可以配置读写分离,也可以实现高可用,当主机宕机,从机可以顶上去(当然这个要配合上高可用机制)。

一主多从

在这里插入图片描述

给主节点配置多个从节点,就是一组多从的主从复制,多个从节点可以通过负载均衡分摊读请求的压力,提升集群的读请求并发性能。

多主一从

在这里插入图片描述

我们也可以配置多个主节点,往一个从节点同步数据,这时候就是多主一从的主从复制。这种类型的主从复制的作用,就是可以利用从节点做一些聚合查询。

比如我们做了分库分表,此时有多个主节点可以接收写请求,但是如果要做一些聚合查询,需要轮询多个主节点,比较麻烦。于是我们可以把多个主节点的数据往一个从节点同步,从节点是一个存储性能非常好的机器,那么我们有一些比较耗时但实时性要求不高的聚合查询,就可以放到从节点来做。

双主复制

在这里插入图片描述

双主复制就是两个主节点,都可以接受读写请求,然后互相同步数据,这种类型的主从复制可以提升MySQL集群处理写请求的并发能力。

级联复制

在这里插入图片描述

当我们从节点过多时,如果都由主节点给他们同步数据,会造成主节点的主从复制压力过大,这时候我们应该采用级联复制的方式,减轻主节点主从复制的压力,有一部分的从节点是通过其他从节点同步数据的。

主从复制的多种模式

主从复制又有多种模式:异步复制、半同步复制、全同步复制。默认是异步复制。

异步复制

在这里插入图片描述

异步复制是指不用等待主从复制完成,用户线程写入binlog成功后,就马上返回。

当主节点的用户线程接收到写请求之后,写入数据成功后,就会写入binlog日志文件,当binlog写入成功后,就返回写请求处理成功。而Dump线程则异步的读取binlog日志文件,发送到从节点,进行主从复制。

这种模式下的主从复制,主节点的压力非常小,对写请求处理的性能影响最小,但是最不安全。

全同步复制

在这里插入图片描述

全同步复制模式下,用户线程需要等待所有的Dump线程完成binlog同步,才能返回。

当主节点的用户线程完成写请求的数据写入之后,并且写入binlog成功后,就会唤醒所有的dump线程进行binlog的同步,然后用户线程挂起,等待所有的dump线程同步binlog成功。当dump线程被用户线程唤醒后,就会进行binlog同步,把binlog日志中最新写入的内容同步到从节点,从节点的IO线程写入relay log成功后,响应主节点的dump线程,主节点的dump线程再去通知用户线程。当收到了所有dump线程的通知后,用户线程就会解阻塞,返回客户端写入成功。

这种模式的主从复制性能是较低的,但是是最安全的。

半同步复制

在这里插入图片描述

半同步复制与全同步复制的不同点在于,半同步复制的用户线程不需要等待所有的dump线程同步binlog成功,而是只需要等待一个dump线程同步binlog成功,用户线程就可以解阻塞,响应客户端写入成。

这种模式的主从复制的写入性能和安全性介于异步复制和全同步复制之间,是一种折中方案。

主从复制延迟及其解决办法

由于主节点的写请求是可以并发进行的,也就是有多个用户线程同时处理写请求,并写入binlog。而从节点只有一个SQL线程去读取relay log并应用到从节点。因此,主节点的写并发量过大时,从节点就会跟不上主节点的写入速度,造成主从延迟。

在这里插入图片描述

主从复制延迟的根本原因,就是从节点只有一个SQL线程去执行relay log中的SQL。因此,解决办法就是多搞几个SQL线程,并行的读取relay log并执行,这就是并行复制。

原来只有一条SQL线程执行relay log时,是这样子:
在这里插入图片描述

SQL线程读取relay log,然后直接应用到从节点。

而采用并行复制时,就变成下面这样:

在这里插入图片描述

此时SQL线程读取relay log后,不再直接执行,而是分发给其中某一个Worker线程。Worker线程会开启多个,接收SQL线程发来的sql,然后在从节点上执行。

此时的SQL线程相当于一个coordinator协调器,专门进行sql分发,分发方式有多种,比如:按库分发、按表分发、按行分发等。不同的MySQL版本,提供的分发方式不一样,比如老版本的MySQL只支持按库分发,而新版本的MySQL则支持按行分发,使用的是哪种分发方式,这取决于MySQL的版本以及相应的配置,这里就不深入细说了。

在这里插入图片描述

读写分离

MySQL读写分离是基于主从复制之上进行配置的。当我们配置好主从复制之后,我们就可以进行读写分离的配置。让写请求发送到主节点,而读请求则发送到从节点,这样从节点就可以分摊主节点的读请求压力。

读写分离的实现方式

在这里插入图片描述

但是我们怎么控制读请求发送到从节点,写请求发送到主节点呢?

我们可以在客户端和MySQL之间加一个中间层。我们的读写请求不再直接发到MySQL,而是发到这个中间层,让这个中间层进行代理转发。这个中间层有两种类型:一种是客户端jar包形式的,比如ShardingJDBC;一种是中间件形式的,比如ShardingProxy、MyCat。

客户端jar包形式的,我们需要引入对应的依赖包,然后进行相关的配置,比如一些读写规则的配置。然后让它根据读写规则代理我们发起读写请求。

在这里插入图片描述

如果是采用中间间形式,则要独立部署一个中间件服务,然后请求发送到该中间件,再由该中间根据配置的读写规则件进行代理转发。

在这里插入图片描述

这两种方式的区别就是:客户端依赖方式的读写分离性能较高,但是客户端使用的编程语言将受到限制;而中间件形式读写分离,由于还要经过中间件做一次代理转发,因此性能会降低,但是客户端使用的编程语言不受限制,适用于任何编程语言。

读写分离如何保证写入马上可被读取到

这里有一个问题,因为主从复制是存在一定的延迟的,当我们配置了读写分离之后,写入主节点的数据,可能无法在从节点上被马上读取到。比如我们对主节点发起一次更新请求,然后在该更新同步到从节点前,我们向从节点发送一次读请求,希望更新结果被马上读取到,这时候显然是失败的,读取到的是旧的数据。

解决这种问题的方法,可以使用强制读请求走主库。当我们希望更新后的结果马上被读取到,我们可以配置更新后的读操作强制走主节点。

在这里插入图片描述

高可用

当我们配置了主从复制之后,并不意味着我们的MySQL集群就是高可用的,因为当主节点宕机后,从节点并不会自动切换为主节点,需要人工进行切换,这样显然是很不方便的,没有高可用而言。因此,我们还要在主从复制的基础上,进行一些高可用配置,达到MySQL集群的高可用。

在数据库节点较少的情况下,我们可以自己配置实现数据库的高可用,比如通过HA Proxy、keepalived等工具实现MySQL的高可用。

在这里插入图片描述

但是当节点一旦多起来,这种方式的配置就会非常麻烦,不利于维护。于是我们需要通过数据库管理软件来实现MySQL的高可用,主要方案有三种:MMM、MHA、MGR。

MMM

MMM(Master-Master replication managerfor Mysql,Mysql主主复制管理器)是一套由Perl语言实现的脚本程序。

MMM架构的方案,主要包括两个主节点和若干从节点,两个主节点中有一个是对外处理写请求的,另一个是热备,而从节点则从处理写请求的主节点同步数据。每个数据库节点都配置一个虚拟IP,其中对外处理写请求的节点的虚拟IP是写IP,客户端往这个IP发送写请求,而另一个主节点和其他从节点,则分配的是读IP,客户端会往这些IP发送读请求。

在这里插入图片描述

最后还有一个监控服务器,监控这些节点的健康状况,一旦对外提供写请求的节点不可用,马上触发切换,把写IP切换到另一个主节点,然后从节点向新的主节点进行复制。这个IP切换的动作,也叫做“IP漂移”。

在这里插入图片描述

目前MMM社区已经缺少维护,并且不支持基于GTID的复制,因此也很少使用了。

MHA

MHA(Master High Availability Manager and Tools for MySQL),是由日本人开发的一个基于Perl脚本写的工具。

在这里插入图片描述

MHA则是一主多从的结构,当主节点出现故障是,会有一个从节点顶上去。

在这里插入图片描述

这里从图中可以看出,MHA架构是不对从节点进行监控的。并且MHA虚拟IP漂移脚本是需要自己编写的,这是MHA架构的一大缺陷。

MGR

在这里插入图片描述

MGR(MySQL Group Replication,MySQL组复制),是MySQL官方在5.7.17版本正式推出的一种组复制机制。

MGR方案是基于分布式一致性协议的,该协议是Paxos协议的一个变种,一个写请求,需要大部分节点同意,才可以提交。并且我们可以配置一主多从或多主两种模式,如果是一主一从,集群会自动选主,多主模式下,任何一个节点都可以处理写请求。

分库分表

说到分库分表,一般的共识是能不分就尽量不分,因为拆分会涉及到很多问题,比如分布式id、分布式事务、多库join查询等问题都需要考虑。但是一个MySQL数据库,只适合存储大约两千万以下的数据量,不适宜存储太多的数据,因为数据量的增大,意味着索引越来越庞大,查询性能就会越来越低。当超过两千万的数据量时,就需要考虑对MySQL进行分库分表了。

分库分表有几种方式,分别是:垂直分库、垂直分表、水平分库、水平分表。具体要进行哪种方式的拆分,要根据实际情况考虑。

垂直分库

垂直分库是从业务的角度出发以库的维度进行拆分,比如我们有一个商城应用,原来所有的库表都在一个数据库服务器节点上:

在这里插入图片描述

现在我们要以业务维度,对其进行库的拆分,用户库、商品库、订单库、库存库分别作为一个数据库。这种拆分方式,往往伴随着应用的拆分,把原先的一个单体应用,拆分成多个微服务,比如:用户微服务、商品微服务、订单微服务、库存微服务。

在这里插入图片描述

垂直分表

对表进行的垂直拆分,一般是由于某张表的字段过多,而大部分字段在大多数的查询中用不到,此时我们可以把这张表拆成两张表,一张是基本信息表,一张是详细信息表。基本信息表只包含大多数查询需要返回的字段,而其余的字段则放到详细信息表中。

在这里插入图片描述

水平分库 & 水平分表

水平分库,往往是伴随着水平分表的。我们把原先的一个数据量很大的表,拆分成几个数据量相对较小的表,并且放到不同的数据库节点中。这种方式的拆分就是水平分库、水平分表,这里面即涉及了库的拆分,又涉及了表的拆分。

在这里插入图片描述

此时客户端发送的请求,要根据一定的规则路由到对应的节点,比如我们可以通过用户ID(user_id)进行取模,路由到对应的节点。

在这里插入图片描述

当然,如果是直接在SQL里面写死这种路由规则,那也太麻烦了,而且灵活性不高,还很容易出错。因此我们还是通过像ShardingSphere、MyCat等分库分表中间件来实现分库分表下的数据库查询和修改操作。

比如客户端直连的方式,我们可以引入ShardingJDBC依赖包,然后配置好相应的路由规则,那么ShardingJDBC就会根据路由规则改写SQL,把对应的SQL发送到相应的数据库节点上。

在这里插入图片描述

如果是ShardingProxy或者MyCat这种中间件方式的话,那么就还要部署一个数据库中间件服务,我们的请求发往这个数据库中间件,再由这个中间件根据一定的路由规则改写SQL,代理我们的客户端请求对应的数据库节点。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/505595.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

FCIS 2023网络安全创新大会:洞察前沿技术,探索安全新境界(附大会核心PPT下载)

随着信息技术的飞速发展,网络安全问题日益凸显,成为全球关注的焦点。作为网络安全领域的重要盛会,FCIS 2023网络安全创新大会如期而至,汇聚了全球网络安全领域的顶尖专家、学者、企业家和政策制定者,共同探讨网络安全的…

内存空间担保机制

什么是内存空间担保机制? 内存空间担保机制(Memory Space Guarantee)是垃圾回收(Garbage Collection)算法中的一种策略。它用于在进行垃圾回收过程(如Minor GC或Full GC)时,确保老年…

vcruntime140.dll为什么都是?解决vcruntime140.dll丢失的七种办法

计算机中一个常见的错误提示是“无法继续执行代码,因为找不到vcruntime140.dll”。这个问题的出现可能是由于vcruntime140.dll文件丢失或损坏导致的。本文将介绍解决这个问题的7个方法,并详细解释vcruntime140.dll丢失的原因以及其属性介绍。 一、vcrun…

Docker-基础

Docker ⛅虚拟化&容器化🌠为什么要虚拟化&容器化 ⛅虚拟化实现方式🌠应用程序执行环境分层🌠虚拟化常见类别☃️虚拟机☃️容器☃️JVM 之类的虚拟机 🌠常见虚拟化实现☃️主机虚拟化(虚拟机)实现☃️容器虚拟化实现 ⛅虚…

备战蓝桥杯————差分数组2

目录 引言 一、拼车 题目描述 解题思路及代码 结果展示 二、航班预定统计 题目描述 解题思路及代码 结果展示 总结 引言 在现代交通管理中,拼车服务和航班预订系统是提高资源利用效率、优化用户体验的关键技术。随着城市交通压力的增大和航空业的快速发…

设计模式-结构模式-装饰模式

装饰模式(Decorator Pattern):动态地给一个对象增加一些额外的职责,就增加对象功能来说,装饰模式比生成子类实现更为灵活。装饰模式是一种对象结构型模式。 //首先,定义一个组件接口: public in…

Sqli-labs靶场第12关详解[Sqli-labs-less-12]

Sqli-labs-Less-12 #手工注入 post传参了 根据题目看,像一个登录页面,尝试使用布尔型盲注测试能否登录网站 1. Username输入a a" 测试是否会有报错,burp抓包 报错:syntax to use near "a"") and passw…

latex报错I was expecting a `,‘ or a `}‘的解决办法

解决办法——经过检查在ref22后面缺少一个逗号 总结 当你在使用LaTeX时遇到“I was expecting a , or a }”这样的错误,这通常意味着LaTeX在解析你的代码时,预期在某个位置看到一个逗号(,)或一个大括号(})…

多余图片人物有什么办法可以去掉?一分钟教你搞定

在我们的快节奏生活中,旅游已经成为了一种宝贵的放松方式,它让我们有机会暂时逃离日常的喧嚣,感受大自然的宁静与美丽。每一次踏足新的土地,我们都会被各种独特的风景所吸引,从雄伟的山川到细腻的街景,每一…

项目风险:测试大佬结合实例告诉你如何应对!

项目有风险 今天下午15点,团队成员D向他的主管Z反馈他测试的项目有风险:项目在测试周期内,但在用例评审时发现有一处功能逻辑有争议,需要产品经理跟业务方确认,可能出现的情况有: 1 不变更需求&#xff0…

Python编程小案例—利用flask查询本机IP归属并输出网页图片

Python编程小案例—利用flask查询本机IP归属并输出网页图片 环境:Pycharm Mac OS 源码如下: from flask import Flask, render_template, requestapp Flask(__name__)app.route(/) def index():return render_template(IP查询.html)if __name__ __…

程序员必备开发工具

Chat GPT的升级节奏让人们越来越惊讶的同时,也让大家感觉到了压力,在如此快节奏的互联网世界中,开发人员需要不断学习与更新知识,保持领先地位并高效地交付高质量软件。 无论是集成开发环境 (IDE)、版本控制系统、测试工具、协作平台还是文档工具,学习并掌握这些流行的顶…