MySQL主从复制 —— 作用、原理、数据一致性,异步复制、半同步复制、组复制

news/2025/2/6 22:45:10/文章来源:https://www.cnblogs.com/qhhfRA/p/18701822

文章目录

一、作用

二、原理

三、同步数据一致性

  • 3.1 主从同步要求

  • 3.2 主从延迟原因、直接表现

  • 3.3 减少主从延迟的方案

  • 3.4 数据一致性问题的解决

    • 3.4.1 异步复制
    • 3.4.2 半同步复制
    • 3.4.3 组复制

MySQL主从复制的核心就是二进制日志binlog

二进制日志(BINLOG)记录了所有的 DDL(数据定义语言,创建库、表)语句和 DML(数据操纵语言,增删改)语句,但不包括数据查询(SELECT、SHOW)语句。

一、作用

  • 读写分离
  • 数据备份
  • 高可用性

二、原理

实际上主从同步是基于binlog进行数据同步的。在主从复制过程中,会基于3个线程来操作,一个主库线程、两个从库线程

  • 二进制日志转储线程(Binglog dump thread)是一个主库线程,当从库线程连接时,主库可以将二进制日志发送给从库,当主库读取事件时,会在Binlog上加锁,读取完成后释放锁
  • 从库I/O线程连接主库,向主库发送请求更新Binlog。这时从库的I/O线程就可以读取主库的二进制日志转储线程的Binlog更新部分,并且拷贝到本地的中继日志relaylog
  • 从库SQL线程会读取从库中的中继日志,并且执行日志中的事件,将从库中的数据与主库保持同步

复制过程就是将binlog中的数据从主库传输到从库上,这个过程一般是异步的,即主库上执行事务操作的线程不会等待复制binlog的线程同步完成。主从复制概括为 :在Master端开启binlog ,从库将master的binlog拷贝到它的中继日志relay log,slave端重放binlog 从而达到主从数据一致

简单来说分成三步:

  1. 写入binlog:Master 主库在事务提交时,会把数据变更记录在二进制日志文件 Binlog 中
  2. 同步binlog:从库读取主库的二进制日志文件 Binlog ,写入到从库的中继日志 Relay Log(从库将master的binlog拷贝到它的中继日志)
  3. 回放binlog:slave重做中继日志中的事件,将改变应用到自己的数据库中

MySQL复制时异步且串行化的,重启后从接入点开始复制。


具体详细过程如下:

  • MySQL主库在收到客户端提交事务的请求之后,会先写入binlog,再提交事务,更新存储引擎中的数据,事务提交完成后,返回给客户端"操作成功"的响应。
  • 从库会创建一个专门的I/O线程,连接主库的log dump线程,来接收主库的binlog日志,再把binlog信息写入relay log的中继日志里,再返回给主库"复制成功"的响应
  • 从库会创建一个用于回放binlog的线程,去读relay log中继日志,然后回放binlog 更新存储引擎中的数据,最终实现主从的数据一致性。

在完成主从复制之后,你就可以在写数据时只写主库、读数据时只读从库,这样即使写请求会锁表或者锁记录,也不会影响读请求的执行。

从库数量增加,从库连接上来的/O线程也比较多,主库也要创建同样多的log dump线程来处理复制的请求,对主库资源消耗比较高,同时还受限于主库的网络带宽

所以在实际使用中,一个主库一般跟2~3个从库(1套数据库,1主2从1备主),这就是一主多从的MySQL集群结构。

三、同步数据一致性

3.1 主从同步要求

  • 读库、写库的数据一致
  • 写数据必须写到写库
  • 读数据必须到读库

3.2 主从延迟原因、直接表现

网络正常情况下,主从延迟的主要来源是备库接收完binlog和执行完这个事务之间的时间差

  • 从库的机器性能比主库差
  • 从库压力大
  • 大事务的执行

主从延迟的直接表现:从库消费中继日志的速度比主库生产binlog的速度慢

3.3 减少主从延迟的方案

  • 降低多线程大事务并发的概率,优化业务逻辑
  • 优化SQL,避免慢SQL,减少批量操作,建议写脚本以update-sleep这样的形式完成
  • 提高从库机器配置,减少主库写binlog和从库读binlog的效率差
  • 尽量采用短的链路,也就是主库和从库服务器的距离尽量短,提升端口带宽,减少binlog传输的网络延时
  • 实时性要求的业务强制走主库,从库只做灾备、备份

3.4 数据一致性问题的解决

若操作的数据存储在同一个数据库中,那么对数据进行更新时,可对记录加写锁,这样在读取时就不会发生数据不一致的情况,但从库的作用仅为备份,未起到读写分离、分担主库读压力的作用

读写分离情况下,解决主从同步中数据不一致的问题,就是解决主从之间数据复制方式的问题。若按照数据一致性的从弱到强划分,有3种复制方式:异步复制、半同步复制、组复制

3.4.1 异步复制

3.4.2 半同步复制

3.4.3 组复制

异步复制、半同步复制都无法最终保证数据一致性问题

组复制技术,MRG(MySQL Group Replication),于MySQL在5.7.17推出的一种新的数据复制技术,基于Paxos协议的状态机复制

MGR如何工作?

将多个节点共同组成一个复制组,在执行读写(RW)事务时,需要通过一致性协议层同意,当同意节点数量大于(N/2+1)时才可进行提交,针对只读(RO)事务则不需要组内同意,直接COMMIT即可

在一个复制组内有多个节点组成,它们各自维护了自己的数据副本,并且在一致性协议层实现了原子消息和全局有序消息,从而保证组内数据一致性

参考:

MySQL面试题(最全、超详细)—— sql优化经验、并发事务问题、隔离级别、MVCC、MySQL主从同步

MySQL进阶(日志)——MySQL的日志 & bin log (归档日志) & 事务日志redo log(重做日志) & undo log(回滚日志)

MySQL面试资料

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/879855.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024人工智能AI+制造业应用落地研究报告汇总PDF洞察(附原数据表)

原文链接: https://tecdat.cn/?p=39068 本报告合集洞察深入剖析当前技术应用的现状,关键技术 创新方向,以及行业应用的具体情况,通过制造业具体场景的典型 案例揭示人工智能如何助力制造业研发设计、生产制造、运营管理 和产品服务的全流程智能化升级。在此基础上对制造业…

中国综合算力指数(2024年)报告汇总PDF洞察(附原数据表)

原文链接: https://tecdat.cn/?p=39061 在全球算力因数字化技术发展而竞争加剧,我国积极推进算力发展并将综合算力作为数字经济核心驱动力的背景下,该报告对我国综合算力进行研究。 中国算力大会发布的《中国综合算力指数(2024年)报告》显示,我国算力结构调整,智算规模…

基于Java语言的开源能管平台才是最适合国内的额的能源管理平台

在"双碳"战略背景下,能源管理已成为政府、企业实现可持续发展的必经之路。面对市场上各类能源管理平台,为何基于Java语言的开源解决方案才是最佳选择?本文将为您揭晓答案,并向您推荐我公司自研的真正具备行业竞争力的开源平台——智碳EMS。 一、智碳EMS:企业能源…

Spring AI + DeepSeek:提升业务流程的智能推理利器

今天,我们将深入探讨如何利用DeepSeek来真正解决我们当前面临的一些问题。具体来说,今天我们仍然会将DeepSeek接入到Spring AI中进行利用。需要注意的是,虽然DeepSeek目前主要作为推理型助手存在,并不完全适合作为智能体的首选,但它仍然能够有效地融入并提升你的业务流程。…

铁路位移智能识别摄像机

铁路位移智能识别摄像机逐渐成为主流。这种设备能够通过高清镜头实时捕捉轨道状况,并利用图像处理技术进行精准分析,从而实现高效的数据收集与预警。铁路位移智能识别摄像机通常安装在关键路段,如桥梁、隧道及坡道等易发生位移的位置。其核心功能是通过实时拍摄轨道,并结合…

边坡智能识别摄像机

边坡智能识别摄像机逐渐成为主流。这种设备能够通过高清镜头实时捕捉边坡状况,并利用图像处理技术进行精准分析,从而实现高效的数据收集与预警。边坡智能识别摄像机通常安装在关键区域,如陡峭山体、施工现场及易受影响的位置。其核心功能是通过实时拍摄边坡,并结合深度学习…

Centos7.9版本安装collectd并开启写入rrd文件功能

Centos7.9版本安装collectd并开启写入rrd文件功能@目录一、背景介绍二、为什么用这个三、安装Collectd3.1 尝试docker安装3.2尝试执行linux命令一步一步安装安装collectd表示该插件开发完毕,可以使用(需要下载相应的插件包,然后取消注释)表示该插件还未完成,无法使用。设置…

15年测试经验沉淀:这些“软实力”让你少走10年弯路

在测试领域深耕近十五载,最近终于得些闲暇,遂撰写小文,分享工作中的些许心得与看法。此次,我来聊聊与 “测试技术” 虽无直接关联,却与个人成长密切相关的一些要点。 以下观点,有的源自他人教导,有的则是我个人感悟所得,欢迎大家一起来探讨。📝 博主首页 : 「码上生…

MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log

MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志文章目录 一、前言1.1 MySQL体系…

使用miniforge代替miniconda

conda作为Python数据科学领域的常用软件,是对Python环境及相关依赖进行管理的经典工具,通常集成在anaconda或miniconda等产品中供用户日常使用。但长久以来,conda在很多场景下运行缓慢卡顿、库解析速度过慢等问题也一直被用户所诟病,且由于anaconda、miniconda本身属于商业…