【MySQL】数据库之主从复制和读写分离

目录

一、什么是读写分离?

二、为甚要读写分离?

三、什么时候需要读写分离?

四、主从复制与读写分离

五、MySQL支持的二进制日志格式

六、主从复制的工作原理

七、MySQL读写分离的原理

八、MySQL读写分离的方式有哪些

九、实验一:实操主从复制

步骤一:完成所有服务器的时间同步

步骤二:完成主服务器的配置

步骤三:完成从服务器的配置

步骤四:测试

十、实验二:实操主从复制之半同步复制

十一、实验三:实操基于amoeba的读写分离

步骤一:先完成三台mysql服务器的账号和用户设置,并进行授权

 步骤二:jdk配置和amoeba安装和配置

​编辑 测试 

读写分离测试


一、什么是读写分离?

读写分离,基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

二、为甚要读写分离?

因为数据库的“写”(写10000条数据可能要3分钟)操作是比较耗时的。
但是数据库的“读”(读10000条数据可能只要5秒钟)。
所以读写分离,解决的是,数据库的写入,影响了查询的效率。

三、什么时候需要读写分离?

数据库不一定要读写分离,如果程序使用数据库较多时,而更新少,查询多的情况下会考虑使用。利用数据库主从同步,再通过读写分离可以分担数据库压力,提高性能。

四、主从复制与读写分离

在实际的生产环境中,对数据库的读和写都在同一个数据库服务器中,是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此,通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力。有点类似于rsync,但是不同的是rsync是对磁盘文件做备份,而mysql主从复制是对数据库中的数据、语句做备份。

五、MySQL支持的二进制日志格式

(1)STATEMENT:基于语句的复制。在服务器上执行sql语句,在从服务器上执行同样的语句,mysql默认采用基于语句的复制,执行效率高。
(2)ROW:基于行的复制。把改变的内容复制过去,而不是把命令在从服务器上执行一遍。
(3)MIXED:混合类型的复制。默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行的复制。

六、主从复制的工作原理

两个日志(主:binlog二进制日志,从:relay-log中继日志)

三个线程(主:dump线程,从:IO线程和SQL线程)

(1)Master节点将数据的改变记录成二进制日志(bin log),当Master上的数据发生改变时,则将其改变写入二进制日志中。
(2)Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/O线程请求 Master的二进制事件。
(3)同时Master节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至Slave节点本地的中继日志(Relay log)中,Slave节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,即解析成 sql 语句逐一执行,使得其数据和 Master节点的保持一致,最后I/O线程和SQL线程将进入睡眠状态,等待下一次被唤醒。

注:
●中继日志通常会位于 OS 缓存中,所以中继日志的开销很小。
●复制过程有一个很重要的限制,即复制在 Slave上是串行化的,也就是说 Master上的并行更新操作不能在 Slave上并行操作。

七、MySQL读写分离的原理

读写分离就是只在主服务器上写,只在从服务器上读。基本的原理是让主数据库处理事务性操作,而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。
 

八、MySQL读写分离的方式有哪些

1)基于程序代码内部实现
在代码中根据 select、insert 进行路由分类,这类方法也是目前生产环境应用最广泛的。
优点是性能较好,因为在程序代码中实现,不需要增加额外的设备为硬件开支;缺点是需要开发人员来实现,运维人员无从下手。
但是并不是所有的应用都适合在程序代码中实现读写分离,像一些大型复杂的Java应用,如果在程序代码中实现读写分离对代码改动就较大。

2)基于中间代理层实现
代理一般位于客户端和服务器之间,代理服务器接到客户端请求后通过判断后转发到后端数据库,有以下代表性程序。
(1)MySQL-Proxy。MySQL-Proxy 为 MySQL 开源项目,通过其自带的 lua 脚本进行SQL 判断。
(2)Atlas。是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条。支持事物以及存储过程。
(3)Amoeba。由陈思儒开发,作者曾就职于阿里巴巴。该程序由Java语言进行开发,阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
(4)Mycat。是一款流行的基于Java语言编写的数据库中间件,是一个实现了MySql协议的服务器,其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。

由于使用MySQL Proxy 需要写大量的Lua脚本,这些Lua并不是现成的,而是需要自己去写。这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol 的人来说是非常困难的。
Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。

九、实验一:实操主从复制

步骤一:完成所有服务器的时间同步

 

步骤二:完成主服务器的配置

1、修改配置文件,设置server-id,开启binlog日志收集,设置日志格式为mixed,完成双“1”配置,重启mysqld服务;

server-id = 1
log-bin=mysql_bin
binlog_format=mixed
expire_logs_days=15
max_binlog_size=500M
skip_slave_start=1
innodb_flush_log_at_trx_commit=1
sync_binlog=1

2、登录MySQL,创建从服务器用户和密码,并授予从服务器权限;

3、查看主服务器的状态(master_log_file和master_log_pos);

步骤三:完成从服务器的配置

1、修改配置文件,设置server-id(每一个服务器的id都不相同),开启中继日志收集

server-id = 2
relay-log=relay-log-bin
relay-log-index=relay-log-bin.index
innodb_buffer_pool_size=1024M
sync_binlog=0
innodb_flush_log_at_trx_commit=2
log-slave-updates=0
relay_log_recovery=1

2、登录MySQL,使用change master to 关联主服务的地址、用户、密码以及二进制文件和偏移量与主服务器完成配置同步;start slave;启动同步;

3、最后从服务器使用show slave status查看IO和SQL线程的状态为yes说明配置完成,可以进行测试了。

步骤四:测试

1、主从复制测试

 

 

 2、从服务器写入测试

说明:在从服务器上写入数据 是并不会同步到主服务器的,只能在从服务器上自身查看到!

十、实验二:实操主从复制之半同步复制

主服务器配置:

 

从服务器配置:

 

 

测试:

十一、实验三:实操基于amoeba的读写分离

步骤一:先完成三台mysql服务器的账号和用户设置,并进行授权

 

 步骤二:jdk配置和amoeba安装和配置

1、jdk配置,完成java环境

##安装 Java 环境##
因为 Amoeba 基于是 jdk1.5 开发的,所以官方推荐使用 jdk1.5 或 1.6 版本,高版本不建议使用。
cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/
cd /usr/local/
chmod +x jdk-6u14-linux-x64
./jdk-6u14-linux-x64.bin
//按yes,按entermv jdk1.6.0_14/ /usr/local/jdk1.6vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/binsource /etc/profile
java -version

2、amoeba配置

mkdir /usr/local/amoeba
tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
//如显示amoeba start|stop说明安装成功

修改amoeba的配置文件 

 修改数据库的配置文件

 测试 

读写分离测试

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/315640.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Leetcode 63 不同路径 II

题意理解: 一个机器人位于一个 m x n 网格的左上角 (起始点在下图中标记为 “Start” )。 机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角(在下图中标记为 “Finish”)。 要求:机器人只能…

计算机基础面试题 |03.精选计算机基础面试题

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

五、Spring AOP面向切面编程(基于注解方式实现和细节)

本章概要 Spring AOP底层技术组成初步实现获取通知细节信息切点表达式语法重用(提取)切点表达式环绕通知切面优先级设置CGLib动态代理生效注解实现小结 5.5.1 Spring AOP 底层技术组成 动态代理(InvocationHandler):…

TTS | NaturalSpeech语音合成论文详解及项目实现【正在更新中】

----------------------------------🔊 语音合成 相关系列直达 🔊 ------------------------------------- ✨NaturalSpeech:正在更新中~ ✨NaturalSpeech2:TTS | NaturalSpeech2语音合成论文详解及项目实现 本文主要是 讲解了Nat…

DrGraph原理示教 - OpenCV 4 功能 - 二值化

二值化,也就是处理结果为0或1,当然是针对图像的各像素而言的 1或0,对应于有无,也就是留下有用的,删除无用的,有用的部分,就是关心的部分 在图像处理中,也不仅仅只是1或0,…

ES6语法(五)封装模块化公共工具函数、引入npm包 ,并上传到npm中进行下载

1. 模块化 模块化是指将一个大的程序文件,拆分为许多小的文件(模块),然后将小的文件组合起来。 1.1. 优点 (1)防止命名冲突 (2)代码复用 (3)高维护性 &…

【快速全面掌握 WAMPServer】06.整明白 PHP

网管小贾 / sysadm.cc 我们今天就要来学习了解一下作为 LAMP 四剑客之一的 PHP 。 PHP 是 Hypertext Preprocessor 即“超文本预处理器”的缩写,是在服务端执行的一种脚本程序语言。 通常它被用于 Web 开发,并可以嵌入 HTML 中,是具有交互功…

yolov5单目测距+速度测量+目标跟踪(算法介绍和代码)

YOLOv5模型介绍 YOLOv5是目前最先进的目标检测算法之一,在多个数据集上取得了优秀的表现。相较于YOLOv4,YOLOv5采用了更深的Backbone网络和更高的分辨率输入图像,以提高检测精度和速度。 1.单目测距实现方法 在目标检测的基础上&#xff…

大模型入门0: 基础知识

transformerscaling law分布式训练 自然语言处理包括几大任务 NLP: 文本分类,词性标注,信息检索NLG:机器翻译,自动摘要,问答QA、对话机器ChatBot下游任务: 词性标注(POS),句法分析…

全面分析解决mfc110u.dll丢失的5种方法,简单三步即可搞定

在计算机使用过程中,我们可能会遇到一些错误提示,其中“找不到mfc110u.dll”是常见的一种。mfc110u.dll是Microsoft Foundation Class(MFC)库中的一个动态链接库文件,它提供了许多用于开发Windows应用程序的函数和类。…

leetcode LCR 170. 交易逆序对的总数(hard)【小林优质解法】

链接:力扣(LeetCode)官网 - 全球极客挚爱的技术成长平台 代码: class Solution {int[]help; //归并排序的辅助数组public int reversePairs(int[] record) {int lengthrecord.length;// help 数组的实例化写在递归外面&#xff…

Linux基础知识点(六-共享内存)

一、共享内存基本概念 什么是共享内存?顾名思义,共享内存就是将内存进行共享,它允许多个不相关的进程访问同一个逻辑内存, 直接将一块裸露的内存放在需要数据传输的进程面前,让它们自己使用。因此,共享内存…