mysql原理---InnoDB统计数据是如何收集的

以下聚焦于 InnoDB 存储引擎的统计数据收集策略。

1.两种不同的统计数据存储方式
InnoDB 提供了两种存储统计数据的方式:
(1). 永久性的统计数据
这种统计数据存储在磁盘上,也就是服务器重启之后这些统计数据还在。
(2). 非永久性的统计数据
这种统计数据存储在内存中,当服务器关闭时这些这些统计数据就都被清除掉了,等到服务器重启之后,在某些适当的场景下才会重新收集这些统计数据。

设计 MySQL 的大叔们给我们提供了系统变量 innodb_stats_persistent 来控制到底采用哪种方式去存储统计数据。在 MySQL 5.6.6 之前, innodb_stats_persistent 的值默认是 OFF ,也就是说 InnoDB 的统计数据默认是存储到内存的,之后的版本中 innodb_stats_persistent 的值默认是 ON ,也就是统计数据默认被存储到磁盘中。

不过 InnoDB 默认是以表为单位来收集和存储统计数据的,也就是说我们可以把某些表的统计数据(以及该表的索引统计数据)存储在磁盘上,把另一些表的统计数据存储在内存中。怎么做到的呢?

我们可以在创建和修改表的时候通过指定 STATS_PERSISTENT 属性来指明该表的统计数据存储方式:

CREATE TABLE 表名 (...) Engine=InnoDB, STATS_PERSISTENT = (1|0);
ALTER TABLE 表名 Engine=InnoDB, STATS_PERSISTENT = (1|0);

STATS_PERSISTENT=1 时,表明我们想把该表的统计数据永久的存储到磁盘上,当 STATS_PERSISTENT=0 时,表明我们想把该表的统计数据临时的存储到内存中。如果我们在创建表时未指定 STATS_PERSISTENT 属性,那默认采用系统变量 innodb_stats_persistent 的值作为该属性的值。

2.基于磁盘的永久性统计数据
当我们选择把某个表以及该表索引的统计数据存放到磁盘上时,实际上是把这些统计数据存储到了两个表里:
在这里插入图片描述
可以看到,这两个表都位于 mysql 系统数据库下边,其中:
(1). innodb_table_stats 存储了关于表的统计数据,每一条记录对应着一个表的统计数据。
(2). innodb_index_stats 存储了关于索引的统计数据,每一条记录对应着一个索引的一个统计项的统计数据。

2.1.innodb_table_stats
直接看一下这个 innodb_table_stats 表中的各个列都是干嘛的:

字段名描述
database_name数据库名
table_name表名
last_update本条记录最后更新时间
n_rows表中记录的条数
clustered_index_size表的聚簇索引占用的页面数量
sum_of_other_index_sizes表的其他索引占用的页面数量

注意这个表的主键是 (database_name,table_name) ,也就是innodb_table_stats表的每条记录代表着一个表的统计信息。

2.1.1.n_rows统计项的收集
InnoDB 统计一个表中有多少行记录的套路是这样的:
(1). 按照一定算法(并不是纯粹随机的)选取几个叶子节点页面,计算每个页面中主键值记录数量,然后计算平均一个页面中主键值的记录数量乘以全部叶子节点的数量就算是该表的 n_rows 值。

可以看出来这个 n_rows 值精确与否取决于统计时采样的页面数量,设计 MySQL 的大叔很贴心的为我们准备了一个名为 innodb_stats_persistent_sample_pages 的系统变量来控制使用永久性的统计数据时,计算统计数据时采样的页面数量。该值设置的越大,统计出的 n_rows 值越精确,但是统计耗时也就最久;该值设置的越小,统计出的 n_rows 值越不精确,但是统计耗时特别少。

InnoDB 默认是以表为单位来收集和存储统计数据的,我们也可以单独设置某个表的采样页面的数量,设置方式就是在创建或修改表的时候通过指定 STATS_SAMPLE_PAGES 属性来指明该表的统计数据存储方式:

CREATE TABLE 表名 (...) Engine=InnoDB, STATS_SAMPLE_PAGES = 具体的采样页面数量;ALTER TABLE 表名 Engine=InnoDB, STATS_SAMPLE_PAGES = 具体的采样页面数量;

如果我们在创建表的语句中并没有指定 STATS_SAMPLE_PAGES 属性的话,将默认使用系统变量 innodb_stats_persistent_sample_pages 的值作为该属性的值。

2.1.2.clustered_index_sizesum_of_other_index_sizes统计项的收集
这两个统计项的收集过程如下:
(1). 从数据字典里找到表的各个索引对应的根页面位置。
系统表 SYS_INDEXES 里存储了各个索引对应的根页面信息。
(2). 从根页面的 Page Header 里找到叶子节点段和非叶子节点段对应的 Segment Header
在每个索引的根页面的 Page Header 部分都有两个字段:
a. PAGE_BTR_SEG_LEAF :表示B+树叶子段的 Segment Header 信息。
b. PAGE_BTR_SEG_TOP :表示B+树非叶子段的 Segment Header 信息。
(3). 从叶子节点段和非叶子节点段的 Segment Header 中找到这两个段对应的 INODE Entry 结构。
这个是 Segment Header 结构:在这里插入图片描述
(4). 从对应的 INODE Entry 结构中可以找到该段对应所有零散的页面地址以及 FREE 、 NOT_FULL 、 FULL 链表的基节点。
这个是 INODE Entry 结构:
在这里插入图片描述
(5). 直接统计零散的页面有多少个,然后从那三个链表的 List Length 字段中读出该段占用的区的大小,每个区占用 64 个页,所以就可以统计出整个段占用的页面。

(6). 分别计算聚簇索引的叶子结点段和非叶子节点段占用的页面数,它们的和就是 clustered_index_size 的值,按照同样的套路把其余索引占用的页面数都算出来,加起来之后就是 sum_of_other_index_sizes 的值。

这里需要大家注意一个问题,我们说一个段的数据在非常多时(超过32个页面),会以 区 为单位来申请空间,这里头的问题是以区为单位申请空间中有一些页可能并没有使用,但是在统计 clustered_index_sizesum_of_other_index_sizes 时都把它们算进去了,所以说聚簇索引和其他的索引占用的页面数可能比这两个值要小一些。

2.2.innodb_index_stats
直接看一下这个 innodb_index_stats 表中的各个列都是干嘛的:

字段名描述
database_name数据库名
table_name表名
index_name索引名
last_update本条记录最后更新时间
stat_name统计项的名称
stat_value对应的统计项的值
sample_size为生成统计数据而采样的页面数量
stat_description对应的统计项的描述

注意这个表的主键是 (database_name,table_name,index_name,stat_name) ,其中的 stat_name 是指统计项的名称,也就是说innodb_index_stats表的每条记录代表着一个索引的一个统计项。
在这里插入图片描述

这个结果有点儿多,正确查看这个结果的方式是这样的:
(1). 先查看 index_name 列,这个列说明该记录是哪个索引的统计信息。
(2). 针对 index_name 列相同的记录, stat_name 表示针对该索引的统计项名称, stat_value 展示的是该索引在该统计项上的值, stat_description 指的是来描述该统计项的含义的。我们来具体看一下一个索引都有哪些统计项:
a. n_leaf_pages :表示该索引的叶子节点占用多少页面。
b. size :表示该索引共占用多少页面。
c. n_diff_pfxNN :表示对应的索引列不重复的值有多少。其中的 NN 长得有点儿怪呀,啥意思呢?
其实 NN 可以被替换为 01 、 02 、 03 ... 这样的数字。比如对于 idx_key_part 来说:
c.1. n_diff_pfx01 表示的是统计 key_part1 这单单一个列不重复的值有多少。
c.2. n_diff_pfx02 表示的是统计 key_part1、key_part2 这两个列组合起来不重复的值有多少。
c.3. n_diff_pfx03 表示的是统计 key_part1、key_part2、key_part3 这三个列组合起来不重复的值有多少。
c.4. n_diff_pfx04 表示的是统计 key_part1、key_part2、key_part3、id 这四个列组合起来不重复的值有多少。

对于普通的二级索引,并不能保证它的索引列值是唯一的,比如对于 idx_key1来说,key1列就可能有很多值重复的记录。此时只有在索引列上加上主键值才可以区分两条索引列值都一样的二级索引记录。对于主键和唯一二级索引则没有这个问题,它们本身就可以保证索引列值的不重复,所以也不需要再统计一遍在索引列后加上主键值的不重复值有多少。比如上边的 idx_key1有n_diff_pfx01、n_diff_pfx02两个统计项,而 idx_key2却只有n_diff_pfx01一个统计项。

(3). 在计算某些索引列中包含多少不重复值时,需要对一些叶子节点页面进行采样, sample_size 列就表明了采样的页面数量是多少。
对于有多个列的联合索引来说,采样的页面数量是:innodb_stats_persistent_sample_pages × 索引列的个数。当需要采样的页面数量大于该索引的叶子节点数量的话,就直接采用全表扫描来统计索引列的不重复值数量了。所以大家可以在查询结果中看到不同索引对应的sample_size 列的值可能是不同的。

3.定期更新统计数据
设计 MySQL 的大叔提供了如下两种更新统计数据的方式:
(1). 开启 innodb_stats_auto_recalc
系统变量 innodb_stats_auto_recalc 决定着服务器是否自动重新计算统计数据,它的默认值是 ON ,也就是该功能默认是开启的。每个表都维护了一个变量,该变量记录着对该表进行增删改的记录条数,如果发生变动的记录数量超过了表大小的 10% ,并且自动重新计算统计数据的功能是打开的,那么服务器会重新进行一次统计数据的计算,并且更新 innodb_table_stats 和 innodb_index_stats 表。不过自动重新计算统计数据的过程是异步发生的,也就是即使表中变动的记录数超过了 10% ,自动重新计算统计数据也不会立即发生,可能会延迟几秒才会进行计算。

InnoDB 默认是以表为单位来收集和存储统计数据的,我们也可以单独为某个表设置是否自动重新计算统计数的属性,设置方式就是在创建或修改表的时候通过指定 STATS_AUTO_RECALC 属性来指明该表的统计数据存储方式:

 CREATE TABLE 表名 (...) Engine=InnoDB, STATS_AUTO_RECALC = (1|0);ALTER TABLE 表名 Engine=InnoDB, STATS_AUTO_RECALC = (1|0);

当 STATS_AUTO_RECALC=1 时,表明我们想让该表自动重新计算统计数据,当 STATS_AUTO_RECALC=0 时,表明不想让该表自动重新计算统计数据。如果我们在创建表时未指定 STATS_AUTO_RECALC 属性,那默认采用系统变量 innodb_stats_auto_recalc 的值作为该属性的值。

(2). 手动调用 ANALYZE TABLE 语句来更新统计信息
如果 innodb_stats_auto_recalc 系统变量的值为 OFF 的话,我们也可以手动调用 ANALYZE TABLE 语句来重新计算统计数据,比如我们可以这样更新关于 single_table 表的统计数据:ANALYZE TABLE single_table;

需要注意的是,ANALYZE TABLE语句会立即重新计算统计数据,也就是这个过程是同步的,在表中索引多或者采样页面特别多时这个过程可能会特别慢,请不要没事儿就运行一下 ANALYZE TABLE 语句,最好在业务不是很繁忙的时候再运行。

2.4.手动更新 innodb_table_statsinnodb_index_stats
其实 innodb_table_stats 和 innodb_index_stats 表就相当于一个普通的表一样,我们能对它们做增删改查操作。这也就意味着我们可以手动更新某个表或者索引的统计数据。

比如说我们想把 single_table 表关于行数的统计数据更改一下可以这么做:
(1). 更新 innodb_table_stats 表。

 UPDATE innodb_table_stats SET n_rows = 1WHERE table_name = 'single_table';

(2). 让 MySQL 查询优化器重新加载我们更改过的数据。
更新完 innodb_table_stats 只是单纯的修改了一个表的数据,需要让 MySQL 查询优化器重新加载我们更改过的数据,运行下边的命令就可以了: FLUSH TABLE single_table;

之后我们使用 SHOW TABLE STATUS 语句查看表的统计数据时就看到 Rows 行变为了 1 。

3.基于内存的非永久性统计数据
当我们把系统变量 innodb_stats_persistent 的值设置为 OFF 时,之后创建的表的统计数据默认就都是非永久性的了,或者我们直接在创建表或修改表时设置 STATS_PERSISTENT 属性的值为 0 ,那么该表的统计数据就是非永久性的了。

非永久性的统计数据采样的页面数量是由 innodb_stats_transient_sample_pages 控制的,这个系统变量的默认值是 8 。由于非永久性的统计数据经常更新,所以导致 MySQL 查询优化器计算查询成本的时候依赖的是经常变化的统计数据,也就会生成经常变化的执行计划,不过最近的 MySQL 版本都不咋用这种基于内存的非永久性统计数据了,所以我们也就不深入唠叨它了。

4.innodb_stats_method的使用
我们知道 索引列不重复的值的数量 这个统计数据对于 MySQL 查询优化器十分重要,因为通过它可以计算出在索引列中平均一个值重复多少行,它的应用场景主要有两个:
(1). 单表查询中单点区间太多,比方说这样:SELECT * FROM tbl_name WHERE key IN ('xx1', 'xx2', ..., 'xxn');
当 IN 里的参数数量过多时,采用 index dive 的方式直接访问 B+ 树索引去统计每个单点区间对应的记录的数量就太耗费性能了,所以直接依赖统计数据中的平均一个值重复多少行来计算单点区间对应的记录数量。

(2). 连接查询时,如果有涉及两个表的等值匹配连接条件,该连接条件对应的被驱动表中的列又拥有索引时,则可以使用 ref 访问方法来对被驱动表进行查询,比方说这样: SELECT * FROM t1 JOIN t2 ON t1.column = t2.key WHERE ...;
在真正执行对 t2 表的查询前, t1.comumn 的值是不确定的,所以我们也不能通过 index dive 的方式直接访问 B+ 树索引去统计每个单点区间对应的记录的数量,所以也只能依赖统计数据中的平均一个值重复多少行来计算单点区间对应的记录数量。

在统计索引列不重复的值的数量时,有一个比较烦的问题就是索引列中出现 NULL 值怎么办,比方说某个索引列的内容是这样:
在这里插入图片描述
此时计算这个 col 列中不重复的值的数量就有下边的分歧:
a. 有的人认为 NULL 值代表一个未确定的值,所以设计 MySQL 的大叔才认为任何和 NULL 值做比较的表达式的值都为 NULL ,就是这样:
在这里插入图片描述
所以每一个NULL值都是独一无二的,也就是说统计索引列不重复的值的数量时,应该把NULL值当作一个独立的值,所以col列的不重复的值的数量就是:4(分别是1、2、NULL、NULL这四个值)。

b. 有的人认为其实 NULL 值在业务上就是代表没有,所有的 NULL 值代表的意义是一样的,所以 col 列不重复的值的数量就是: 3 (分别是1、2、NULL这三个值)。

c.有的人认为这 NULL 完全没有意义嘛,所以在统计索引列不重复的值的数量时压根儿不能把它们算进来,所以 col 列不重复的值的数量就是: 2 (分别是1、2这两个值)。

设计 MySQL 的大叔蛮贴心的,他们提供了一个名为 innodb_stats_method 的系统变量,相当于在计算某个索引列不重复值的数量时如何对待 NULL 值这个锅甩给了用户,这个系统变量有三个候选值:
a. nulls_equal :认为所有 NULL 值都是相等的。这个值也是 innodb_stats_method 的默认值。
b. nulls_unequal :认为所有 NULL 值都是不相等的。
c. nulls_ignored :直接把 NULL 值忽略掉。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/312070.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

人工智能的第一性原理

今天跟大家分享一篇 北师大 - 图像处理研究中心主任 郭平教授的一篇文章 通过“四个问题”, 解释了人工智能的第一性原理 提出了如何运用第一性原理思维 来解决人工智能缺乏基本常识的问题 并且他建议将最小作用量原理 作为人工智能的第一性原理 什么是第一…

循环生成对抗网络(CycleGAN)

一、说明 循环生成对抗网络(CycleGAN)是一种训练深度卷积神经网络以执行图像到图像翻译任务的方法。网络使用不成对的数据集学习输入和输出图像之间的映射。 二、基本介绍 CycleGAN 是图像到图像的翻译模型,就像Pix2Pix一样。Pix2Pix模型面临…

linux安装rabbitmq

文章目录 前言一、下载安装包二、erlang1.安装依赖2.解压3.安装4.环境变量5.验证 三、rabbitmq1.安装依赖2.解压3.新建目录4.rabbitmq.env.conf5.rabbitmq.conf6.环境变量7.启动8.验证9.停止 四、安装web1.安装插件2.访问控制台界面 五、开机启动1.编写脚本2.设置开机启动3.测试…

力扣回溯算法-电话号码的字母组合

力扣第17题,电话号码的字母组合 题目 给定一个仅包含数字 2-9 的字符串,返回所有它能表示的字母组合。 给出数字到字母的映射如下(与电话按键相同)。注意 1 不对应任何字母。 .电话号码的字母组合 示例: 输入:“2…

Atlas 2.2.0 安装部署

Apache Atlas 是一套可扩展、可延伸的核心基础治理服务,使企业能够切实有效地满足 Hadoop 中的合规性要求,并允许与整个企业数据生态系统集成。 Apache Atlas 提供开放的元数据管理和治理功能,使企业能够建立数据资产目录,对这些…

Python开源项目月排行 2023年12月

Python 趋势月报,按月浏览往期 GitHub,Gitee 等最热门的Python开源项目,入选的项目主要参考GitHub Trending,部分参考了Gitee和其他。排名不分先后,都是当前月份内相对热门的项目。 入选公式=70%GitHub Trending20%Gitee10%其他 …

git分支场景操作,应用场景

文章目录 git分支操作1.git branch--目前处在的分支上2.git checkout--要切换的分支名字3.git merge--要合并的分支名字4.git branch -d--要删除的分支名字 git分支操作 假设目前我们目前有三个版本 1.git branch–目前处在的分支上 现在要开发一个新功能在新的分支上 新建一…

Windows搭建RTSP视频流服务(EasyDarWin服务器版)

文章目录 引言1、安装FFmpeg2、安装EasyDarWin3、实现本地\虚拟摄像头推流服务4、使用VLC或PotPlayer可视化播放器播放视频5、RTSP / RTMP系列文章 引言 RTSP和RTMP视频流的区别 RTSP (Real-Time Streaming Protocol)实时流媒体协议。 RTSP定义流格式&am…

论文阅读——SG-Former

SG-Former: Self-guided Transformer with Evolving Token Reallocation 1. Introduction 方法的核心是利用显著性图,根据每个区域的显著性重新分配tokens。显著性图是通过混合规模的自我关注来估计的,并在训练过程中自我进化。直观地说,我们…

门诊病历系统教程,社区诊所电子处方系统软件操作教程

一、软件程序问答 门诊病历系统教程,社区诊所电子处方系统软件操作教程 1、电子处方软件在开处方时候,可以一键导入模板吗? 如下图,软件以 佳易王诊所电子处方软件V17.1为例说明 软件右侧点击 配方模板,只需输入症…

【javaSE】代理并不难

代理: 代理模式最主要的就是在不改变原来代码(就是目标对象)的情况下实现功能的增强 在学习AOP之前先了解代理,代理有两种:一种是动态代理,一类是静态代理。 静态代理 相当于是自己写了一个代理类&#…

STC8H系列单片机入门教程之NVC系列语音播报模块(九)

一、模块简述 ● 模组支持3.3V和5V单片机供电系统 ● 标准2.54MM间距排针与外部连接 ● 支持喇叭0.5W/8欧 ● 适合用于超声波距离、电子秤重量、时钟时间、温度、球赛比分等语音播报 二、引脚说明 序号 名称 说明 1 VCC 电源正(3.3V-5V&#…