关于MySQL中的binlog

介绍

undo log 和 redo log是由Inno DB存储引擎生成的。

在MySQL服务器架构中，分为三层：连接层、服务层（server层）、执行层（存储引擎层）

bin log 是 binary log的缩写，即二进制日志。

MySQL在完成一次DML操作后，Server层还会生成一条binlog，等事务提交之后， 还会将该事务执行过程中产生的所有binlog统一写入到binlog日志文件中

binlog日志文件中保存了所有数据库的所有表结构的变化和表数据的变化

bin log的作用

bin log主要用于下面两个方面：

  • 主从复制

对于”双11“这种级别的千万级高并发，单台数据库服务器是扛不住的！

为了提供并发处理的能力，一般会部署多态MySQL服务器，这些服务器中维护着相同的数据副本。这些MySQL服务器组成一个MySQL集群

一个非常典型的部署方案就是一主多从， 在这些MySQL服务器中，有一个主服务器Master和多台从服务器Slave

主服务器只负责数据变更，而从服务器负责查询，在大部分情况下，查询是最耗时的，因为多台从服务器负责查询操作，分担了并发压力。

对于DDL、DML请求，将就给主服务器去执行

对于查询Select请求，就交给从服务器，因为每个服务器中都维护着相同的数据副本，所以交给任意一个从服务器即可

为了让各个从服务器中存储的数据 和主服务器中的数据保持一致，每当我们改变了主服务器中的表结构或者表数据，就需要将这些变更信息同步给各个从服务器，此时bin log就发挥作用了

bin log中保存了所有数据库的所有表的变化信息，从服务器只需要读取主服务器的bin log，就能完成主从服务器之间的数据同步

  • 系统备份恢复

如果不小心把整个数据库的数据都删除了，能使用redo log日志恢复数据吗？

当然不能，因为redo log是Inno DB产生的日志文件，Inno DB是表级别的（在创建表时指定表的存储引擎），当直接删除了整个数据库，那么这些redo log日志也不会存在了，即使这些redo log存在，也并不能将这个表的所有数据都恢复，因为redo log日志文件存在复用的情况，对于哪些已经刷新到磁盘的redo log，redo log已经没有存在的必要性了所以会覆盖掉，新写的redo log会覆盖掉之前的旧的redo log，因此redo log只能保证恢复在事务提交之前的部分数据

因为 redo log 文件是循环写，是会边写边擦除日志的，只记录未被刷入磁盘的数据的物理日志，已经刷入磁盘的数据都会从 redo log 文件里擦除。

此时又轮到binlog发挥作用了

因为bin log记录了所有库的所有表的变更信息，所以可以借助binlog来完成数据恢复

配置使用binlog

查看MySQL服务器是否开启了bin log

 show variables like 'log_bin';
  • 查询到的值是ON，代表当前服务器已开启binlog日志功能
  • 如果为OFF，代表当前服务器没有开启bin log功能

如果当前服务器没有开启bin log，需要手动开启。

关闭服务器，重新启动服务器时添加此启动配置项

--log-bin [=base_name]

base_name是用来记录bin log日志文件的基名称

bin log日志文件会保存在MySQL的数据目录下，bin log日志文件不是一个文件，而是一组文件，这一组文件的命名规则是这样的

basename.000001
basename.000002
basename.000003
basename.000004
....

以basename作为基名称，后面的序号递增。

如果需要修改bin log文件的基名称，可以利用启动项参数修改

--log-bin [=basename]

如果没有指定基名称，那么MySQL服务器会默认以主机名-bin作为binlog日志文件的基名称。

MySQL 8.x 会默认以binlog作为基名称

binlog.000001
binlog.000002
....

查看binlog中的内容

binlog日志文件并不能直接查看，因为是二进制文件。

binlog中记录数据库发生变更的各种事件，事件类型非常多，其实并不需要刻意关注binlog中的内容。

如果真的想要查看binlog的内容，则可以借助MySQL提供的mysqlbinlog工具

mysqlbinlog工具作为可执行文件，存放在MySQL安装目录的bin目录下

将需要查看的binlog日志文件作为mysqlbinlog命令的参数

mysqlbinlog ./data/binlog.0000001

binlog日志文件格式

随着MySQL版本的更新，binlog文件格式也有不同的版本，在此以v4最新版本的文件格式来讲解。

一个binlog日志文件的基本格式主要由两部分组成：

  • 文件固定头部
  • 事件

image-20230808111658332

  • 每个binlog日志文件的前4个字节都是固定的，用来作为此文件的一个标识，不用关心。
  • 每个binlog日志文件都有若干个事件组成，这些事件就是对数据库表的变更事件。

每个事件又可以分为两部分：

  • 事件头 event header，用来对这个事件进行描述的信息
  • 真实数据 data

image-20230808112003841

好了，这就是binlog日志文件的基本格式，知道这么多就行了。

两种binlog

binlog日志文件中存储的事件就是对数据库变更的信息，那么如何描述这个事件又有两种方式。

一条sql语句，如果binlog-format不同，那么可能生成不同类型的binlog事件，大致就可以分为基于语句Statement和基于行row两种类型的binlog

  • 当以启动选项--binlog-format=STATEMENT启动MySQL服务器时，生成的binlog称作基于语句的日志。此时只会将一条SQL语句将会被完整的记录到binlog中，而不管该语句影响了多少记录。

  • 当以启动选项--binlog-format=ROW启动MySQL服务器时，生成的binlog称作基于行的日志。此时会将该语句所改动的记录的全部信息都记录上。

  • 当以启动选项 --binlog-format=MIXED启动MySQL服务器时，生成的binlog称作基于行的日志。此时在通常情况下采用 基于语句的日志 ，在某些特殊情况下会自动转为基于行的日志

简单总结：

  • 基于语句的binlog 只将更新语句是什么记录下来了。
  • 基于行的binlog 将更新语句执行过程中每一条记录更新前后的值都记录下来了

基于语句的binlog可能会导致主从数据不一致的情况，例如下面这条语句

INSERT INTO t(c) SELECT c FROM other_table;

这条语句是从其他表中查询数据并插入到一张表中。

但是对于这条子查询SELECT c FROM other_table;,可能由于不同服务器版本、不同的系统变量导致同一条语句的结果顺序不同，那么在插入时，自动生成主键，不同的顺序最终生成的记录的主键值不同。

原因是在基于语句的binlog中，只会记录这条sql语句，从库去执行这条sql语句，并不会关心更新前后的记录值。

但是在基于行的binlog中，还保存了这条记录更新前后的值，从库在执行完sql语句后，还会将这条记录调整到一致的状态，从而保证主从数据一致性。

redo、undo、buffer pool、binlog的执行顺序

当执行一条UPDATE语句时，redo、undo、binlog的写入顺序是怎样的？

具体的一条记录的更新流程如下：

  1. 现在B+树中定位到该记录（锁定读），如果该数据所在的页面不再Buffer pool中，则先将这一页数据从磁盘加载到buffer pool中

  2. 读取到记录后，判断记录更新前后是否一样，一样的话就跳过，不用更新了

  3. 首先更新聚簇索引记录

    更新聚簇索引记录时：

    1. 首先向undo页面写入undo日志，因为这是在修改页面，所以修改undo页面前需要先记录这次的redo日志
    2. 真正的更新记录，在更新前记录响应的redo日志

  4. 更新其他的二级索引

至此，一条记录更新完成

redo 和 bin log的区别

  1. 适用对象不同
  • binlog是MySQL的Server层实现的日志，是整个MySQL服务器级别的
  • redo log是InnoDB存储引擎实现的日志，是表级别的

  1. 文件格式不同

  2. 写入方式不同

  • binlog是追加写，写满一个文件，就会新创建一个文件，不会覆盖以前的文件
  • redo log是循环写，日志空间的大小是固定的，写满了就会从头开始写，覆盖掉之前的redo Log内容
  1. 用途不同
  • binlog 主要用于主从复制、备份恢复
  • redo log主要用于发生故障时，表脏数据的恢复

主从复制

前面已经介绍过主从复制，MySQL的主从复制依赖于bin log

复制过程就是将binlog中的数据从主库传输到从库

这个过程是异步的，

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rLPw0Yy5-1691478160467)(https://cdn.xiaolincoding.com/gh/xiaolincoder/mysql/how_update/%E4%B8%BB%E4%BB%8E%E5%A4%8D%E5%88%B6%E8%BF%87%E7%A8%8B.drawio.png?image_process=watermark,text_5YWs5LyX5Y-377ya5bCP5p6XY29kaW5n,type_ZnpsdHpoaw,x_10,y_10,g_se,size_20,color_0000CD,t_70,fill_0)]

MySQL主从复制的三个步骤：

  1. Master 写入binlog：主服务器写binlog日志，提交事务
  2. Slave 同步 binlog：把binlog复制到所有从库上，每个从库把binlog保存到暂存日志中
  3. 回访binlog：从服务器执行完数据的更新后，记录到自己的bin log日志文件中

具体的过程：

  • MySQL 主库在收到客户端提交事务的请求之后，会先写入 binlog，再提交事务，更新存储引擎中的数据，事务提交完成后，返回给客户端“操作成功”的响应。
  • 从库会创建一个专门的 I/O 线程，连接主库的 log dump 线程，来接收主库的 binlog 日志，再把 binlog 信息写入 relay log 的中继日志里，再返回给主库“复制成功”的响应。
  • 从库会创建一个用于回放 binlog 的线程，去读 relay log 中继日志，然后回放 binlog 更新存储引擎中的数据，最终实现主从的数据一致性。

从服务器的数量是不是越多越好？这样分担下来的流量不就更小，每个数据库的压力更小吗？

不是的

从服务器数量增加，对于主服务器来说，IO连接的数量越多，对于每一个从服务器的连接，主服务器都需要创建一个log dump线程来专门负责与这个从服务器的请求。从服务器的数量越多，对主服务器的资源消耗越多，同时还要受限于主库的网络带宽。

在实际使用中，一般遵循一主一副多从的设计，也就是一个主服务器，一个备用的主服务器（在主服务器崩溃后担任主服务器），2-3个从服务器

巨人的肩膀

  • 小林Coding——MySQL日志
  • 《MySQL是怎么运行的》

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/61590.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

竞赛项目 深度学习手势识别算法实现 - opencv python

竞赛项目 深度学习手势识别算法实现 - opencv python

文章目录 1 前言2 项目背景3 任务描述4 环境搭配5 项目实现5.1 准备数据5.2 构建网络5.3 开始训练5.4 模型评估 6 识别效果7 最后 1 前言 🔥 优质竞赛项目系列，今天要分享的是 🚩 深度学习手势识别算法实现 - opencv python 该项目较为新颖…
阅读更多...
数据库新闻速递 -- POSTGRESQL 正在蚕食数据库市场 （翻译）

数据库新闻速递 -- POSTGRESQL 正在蚕食数据库市场 （翻译）

开头还是介绍一下群，如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请加 liuaustin3微信号 ，在新加的朋友会分到3群&#xff…
阅读更多...
【大数据】Flink 详解（二）：核心篇 Ⅰ

【大数据】Flink 详解（二）：核心篇 Ⅰ

Flink 详解（二）：核心篇 Ⅰ 14、Flink 的四大基石是什么？ ​ Flink 的四大基石分别是： Checkpoint（检查点）State（状态）Time（时间）Window&#xff…
阅读更多...
nodejs+vue+elementui社区流浪猫狗救助救援网站_4a4i2

nodejs+vue+elementui社区流浪猫狗救助救援网站_4a4i2

基于此背景，本研究结合管理员即时发布流浪猫狗救助救援信息与用户的需求，设计并实现了流浪猫狗救助救援网站。系统采用B/S架构，java语言作为主要开发语言，MySQL技术创建和管理数据库。系统主要分为管理员和用户两大功能模块。通过…
阅读更多...
MyBatis操作数据库常见用法总结2

MyBatis操作数据库常见用法总结2

文章目录 1.动态SQL使用什么是动态sql为什么用动态sql标签拼接标签拼接标签拼接标签拼接标签拼接 补充1：resultType和resultMap补充2：后端开发中单元测试工具使用（Junit框架） 1.动态SQL使用 以insert标签为例 什么是动态sql 是…
阅读更多...
Python-OpenCV中的图像处理-几何变换

Python-OpenCV中的图像处理-几何变换

Python-OpenCV中的图像处理-几何变换 几何变换图像缩放图像平移图像旋转仿射变换透视变换 几何变换 对图像进行各种几个变换，例如移动，旋转，仿射变换等。 图像缩放 cv2.resize() cv2.INTER_AREAv2.INTER_CUBICv2.INTER_LINEAR res cv2.r…
阅读更多...
VLOOKUP函数使用

VLOOKUP函数使用

在Excel中，VLOOKUP函数用于在一个范围内查找某个值，并返回该值所在行的指定列的内容。VLOOKUP函数的基本语法如下： VLOOKUP(lookup_value, table_array, col_index_num, [range_lookup])参数说明： lookup_value：要查…
阅读更多...
Windows 环境下 Python3 离线安装 cryptography 失败

Windows 环境下 Python3 离线安装 cryptography 失败

发布Flask Web项目时，报错缺少Cryptography，于是尝试重新安装该库，但本机没有网络，只支持手动离线安装，尝试了pip、setup.py两种方式安装，结果都报错。。最后使用将安装包拷贝至本机(在其他电脑上安装的sit…
阅读更多...
小疆智控EtherCAT转PROFINET连接零差云控驱动器接入Profinet网络

小疆智控EtherCAT转PROFINET连接零差云控驱动器接入Profinet网络

西门子S7-1200/1500系列的PLC，需要连接带EtherCAT的通讯功能的伺服驱动器等设备。西门子的PLC采用PROFINET实时以太网通讯协议，要连接EtherCAT的设备，就必须进行通讯协议转换。小疆GW-PN-ECATM系列的网关提供了，快速可行的解决方案…
阅读更多...
spring之AOP简单介绍

spring之AOP简单介绍

1.AOP的概念 AOP，Aspect Oriented Programming，面向切面编程，是对面向对象编程OOP的升华。OOP是纵向对一个 事物的抽象，一个对象包括静态的属性信息，包括动态的方法信息等。而AOP是横向的对不同事物的抽象，…
阅读更多...
pikachu中RCE出现乱码的解决的方案

pikachu中RCE出现乱码的解决的方案

exec “ping” 输入127.0.0.1 这种乱码的解决办法就是在pikachu/vul/rce/rce_ping.php目录里面的第18行代码 header("Content-type:text/html; charsetgbk");的注释打开即可。 BUT但是吧！又出现了其他的乱码！但是搞完这个再把它给注释掉就行了…
阅读更多...
[C++] 自定义的类如何使用“cout“和“cin“?（含日期类实现）

[C++] 自定义的类如何使用“cout“和“cin“?（含日期类实现）

一、引言 在C中，“cin”和"cout"可以说是区别于C语言的一大亮点。 但是，它的自动识别类型，其本质不过是运算符重载。若真到了能够“自动识别”的那一天，人类大概也能进入新的纪元了罢。 对于我们自己写的类&#xff…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023