【MySQL】如何优化SQL查询的总体框架（详细版，关于如何优化数据库服务器从大到小详细说明了步骤）

文章目录

  • 1 数据库服务器的优化步骤
  • 2 观察
    • 2.1 观察系统总体运行情况
    • 2.2 定位执行慢的 SQL：慢查询日志
    • 2.3 查看 SQL 执行成本：SHOW PROFILE
    • 2.4 分析查询语句：EXPLAIN（重点掌握）
      • 2.4.1 EXPLAIN各列作用
      • 2.4.2 EXPLAIN 的 type 列
      • 1.4.3 EXPLAIN 的 Extra 列
      • 1.4.4 一个优化案例
  • 2 参考资料

1 数据库服务器的优化步骤

当我们遇到数据库调优问题的时候，该如何思考呢？这里把思考的流程整理成下面这张图。整个流程划分成了 观察（Show status） 和 行动（Action） 两个部分。字母 S 的部分代表观察（会使用相应的分析工具），字母 A 代表的部分是行动（对应分析可以采取的行动）。

小结：

2 观察

2.1 观察系统总体运行情况

在 MySQL中，可以使用 SHOW STATUS 语句查询一些数据库服务器的运行情况，如：性能参数 、 执行频率等。

备注：

1、show status 是由数据库自行维护的，作用是记录系统的运行情况，用户不可修改。

2、与 show status 类似的有一个 show variables 描述的是系统的一些系统变量，这些用户是可以控制的，用来调整系统的一些情况

SHOW STATUS语句语法如下：

SHOW [GLOBAL|SESSION] STATUS LIKE '参数';

一些常用的性能参数如下：

  • Connections：连接MySQL服务器的次数。
  • Uptime：MySQL服务器的上线时间。
  • Slow_queries：慢查询的次数
  • Innodb_rows_read：Select查询返回的行数
  • Innodb_rows_inserted：执行INSERT操作插入的行数
  • Innodb_rows_updated：执行UPDATE操作更新的行数
  • Innodb_rows_deleted：执行DELETE操作删除的行数
  • Com_select：查询操作的次数
  • Com_insert：插入操作的次数。对于批量插入的 INSERT 操作，只累加一次
  • Com_update：更新操作的次数。
  • Com_delete：删除操作的次数。

举例：

show status like 'Uptime';

2.2 定位执行慢的 SQL：慢查询日志

关于慢日志，作者写了另外的文章，这里不做过多介绍，《5.4.5 The Slow Query Log（慢日志实验）.md》

2.3 查看 SQL 执行成本：SHOW PROFILE

show profile 的作用是查看sql消耗的资源，也就是通常所说的成本。

show variables like 'profiling';

通过设置 profiling='ON' 来开启 show profile：

set profiling = 'ON';

然后执行相关的查询语句。接着看下当前会话都有哪些 profiles，使用下面这条命令：

show profiles;

你能看到当前会话一共有 2 个查询。查看某一次查询的资源使用情况使用：

show profile cpu,block io for query 2;

show profile 在新的版本中标注过期了，官方建议大家使用性能库，即 performance_schema

2.4 分析查询语句：EXPLAIN（重点掌握）

使用语法：

EXPLAIN SELECT select_options

如果我们想看看某个查询的执行计划的话，可以在具体的查询语句前边加一个 EXPLAIN ，就像这样：

EXPLAIN SELECT 1;

EXPLAIN 语句输出的各个列的作用如下：

列名描述
id在一个大的查询语句中每个SELECT关键字都对应一个 唯一的id
select_type SELECT关键字对应的那个查询的类型
table表名
partitions匹配的分区信息
type针对单表的访问方法
possible_keys可能用到的索引
key实际上使用的索引
key_len实际使用到的索引长度
ref 当使用索引列等值查询时，与索引列进行等值匹配的对象信息
rows预估的需要读取的记录条数
filtered某个表经过搜索条件过滤后剩余记录条数的百分比
Extra一些额外的信息

2.4.1 EXPLAIN各列作用

为了让大家有比较好的体验，我们调整了下 EXPLAIN 输出列的顺序。

1. table：

不论我们的查询语句有多复杂，里边儿 包含了多少个表 ，到最后也是需要对每个表进行 单表访问 的，所以MySQL规定EXPLAIN语句输出的每条记录都对应着某个单表的访问方法，该条记录的table列代表着该表的表名（有时不是真实的表名字，可能是简称）。

2. id：

我们写的查询语句一般都以 SELECT 关键字开头，比较简单的查询语句里只有一个 SELECT 关键字，id就可以理解为一个select语句。

  • id如果相同，可以认为是一组，从上往下顺序执行
  • 在所有组中，id值越大，优先级越高，越先执行
  • 关注点：id号每个号码，表示一趟独立的查询, 一个sql的查询趟数越少越好

3. select_type：

查询类型。有如下表：

名称描述
SIMPLESimple SELECT (not using UNION or subqueries)（只要不是union和子查询）
PRIMARYOutermost SELECT（最外面的查询）
UNIONSecond or later SELECT statement in a UNION（union）
DEPENDENT UNIONSecond or later SELECT statement in a UNION, dependent on outer query（union且依赖外部查询）
UNION RESULTResult of a UNION.（ union之后的结果）
SUBQUERYFirst SELECT in subquery（子查询）
DEPENDENT SUBQUERYFirst SELECT in subquery, dependent on outer query（子查询且依赖外部查询）
DERIVEDDerived table（派生表）
DEPENDENT DERIVEDDerived table dependent on another table（派生表且依赖其他表）
MATERIALIZEDMaterialized subquery（物化子查询）
UNCACHEABLE SUBQUERYA subquery for which the result cannot be cached and must be re-evaluated for each row of the outer query

具体分析如下：

  • SIMPLE

    除了子查询和UNION都是simple

    EXPLAIN SELECT * FROM s1;

    当然，连接查询也算是 SIMPLE 类型，比如：

    EXPLAIN SELECT * FROM s1 INNER JOIN s2;

  • PRIMARY

    EXPLAIN SELECT * FROM s1 UNION SELECT * FROM s2;

  • UNION

  • UNION RESULT

  • SUBQUERY

    EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key1 FROM s2) OR key3 = 'a';

  • DEPENDENT SUBQUERY

    EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key1 FROM s2 WHERE s1.key2 = s2.key2) OR key3 = 'a';

  • DEPENDENT UNION

    EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key1 FROM s2 WHERE key1 = 'a' UNION SELECT key1 FROM s1 WHERE key1 = 'b');

  • DERIVED

    EXPLAIN SELECT * FROM (SELECT key1, count(*) as c FROM s1 GROUP BY key1) AS derived_s1 where c > 1;

  • MATERIALIZED

    EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key1 FROM s2);

  • UNCACHEABLE SUBQUERY

  • UNCACHEABLE UNION

2.4.2 EXPLAIN 的 type 列

针对上文提到的type类型，这里重点说明。

EXPLAIN输出的type列描述了如何联接表。以下列表描述了连接类型，按从最佳类型到最差类型的顺序排列：

  • system

    只有一行数据的表，是const的一种特殊情况

    CREATE TABLE t(i int) Engine=MyISAM;
INSERT INTO t VALUES(1);
EXPLAIN SELECT * FROM t;

  • const

    常量级别，表中最多只匹配一行且在查询开始的时候就被读取到了。这种情况就是 PRIMARY KEY 或 UNIQUE。举例：

    SELECT * FROM tbl_name WHERE primary_key=1;
-- 右边是常量，左边是主键
SELECT * FROM tbl_nameWHERE primary_key_part1=1 AND primary_key_part2=2;

  • eq_ref

    等值引用。从当前的表读取一行与先前的表匹配。这是除了system、const以外最快的方式，如在 PRIMARY KYE 或 UNIQUE NOT NULL 会使用。举例如下：

    SELECT * FROM ref_table,other_tableWHERE ref_table.key_column=other_table.column;SELECT * FROM ref_table,other_tableWHERE ref_table.key_column_part1=other_table.columnAND ref_table.key_column_part2=1;

  • ref

    引用，跟 eq_ref 不同的是ref可能会匹配多行而eq_ref匹配一行。对于前一个表中的每一个行组合，都会从此表中读取具有匹配索引值的所有行。当键不是PRIMARY key或UNIQUE索引（换句话说，如果联接不能根据键值选择一行），则使用ref。举例：

    -- 不是 primary key 或者 unique
SELECT * FROM ref_table WHERE key_column=expr;SELECT * FROM ref_table,other_tableWHERE ref_table.key_column=other_table.column;SELECT * FROM ref_table,other_tableWHERE ref_table.key_column_part1=other_table.columnAND ref_table.key_column_part2=1;

  • fulltext

  • ref_or_null

    这个join type类型跟ref类似，但是可能会包括null。举例：

    SELECT * FROM ref_tableWHERE key_column=expr OR key_column IS NULL;

  • index_merge

    此联接类型表示使用了索引合并优化。在查询的列都来自索引时可能会发生。

  • unique_subquery

    用来在子查询中代替 eq_ref。举例：

    -- primary_key 是唯一索引
value IN (SELECT primary_key FROM single_table WHERE some_expr)

  • index_subquery

    跟 unique_subquery类似。它代替 IN 子查询，但是它和非唯一索引一起工作。举例：

    -- key_column 是非唯一索引
value IN (SELECT key_column FROM single_table WHERE some_expr)

  • range

    范围。使用索引选择给定范围的行的类型就是range。通常在这些情况发生：=、<>、>、>=、<、<=、IS NULL、<=>、BETWEEN、LIKE、IN()。举例：

    SELECT * FROM tbl_nameWHERE key_column = 10;SELECT * FROM tbl_nameWHERE key_column BETWEEN 10 and 20;SELECT * FROM tbl_nameWHERE key_column IN (10,20,30);SELECT * FROM tbl_nameWHERE key_part1 = 10 AND key_part2 IN (10,20,30);

  • index

    当覆盖索引时一般使用index，该类型跟all差不多效率除了特殊情况外。

  • all

    全表扫描

1.4.3 EXPLAIN 的 Extra 列

EXPLAIN输出的Extra列包含有关MySQL如何解析查询的附加信息。以下列表说明了可以在此列中显示的值。以下列举几个常见的

  • Backward index scan

    反向索引扫描

  • const row not found

  • Distinct

  • Full scan on NULL key

  • Impossible HAVING

    不可能的having条件

  • Impossible WHERE

    不可能的where条件

  • No tables used

  • unique row not found

  • Using filesort

  • Using index

    只使用索引树中的信息从表中检索列信息，而不必进行额外的查找来读取实际行。当查询仅使用作为单个索引一部分的列时，可以使用此策略。

  • Using temporary

    为了解决查询，MySQL需要创建一个临时表来保存结果。通常发生在GROUP BY和ORDER BY子句

  • Using where

1.4.4 一个优化案例

有如下的sql语句

EXPLAIN SELECT tt.TicketNumber, tt.TimeIn,tt.ProjectReference, tt.EstimatedShipDate,tt.ActualShipDate, tt.ClientID,tt.ServiceCodes, tt.RepetitiveID,tt.CurrentProcess, tt.CurrentDPPerson,tt.RecordVolume, tt.DPPrinted, et.COUNTRY,et_1.COUNTRY, do.CUSTNAMEFROM tt, et, et AS et_1, doWHERE tt.SubmitTime IS NULLAND tt.ActualPC = et.EMPLOYIDAND tt.AssignedPC = et_1.EMPLOYIDAND tt.ClientID = do.CUSTNMBR;

被比较的列如下：

TableColumnData Type
ttActualPCCHAR(10)
ttAssignedPCCHAR(10)
ttClientIDCHAR(10)
etEMPLOYIDCHAR(15)
doCUSTNMBRCHAR(15)

表的索引如下：

TableColumnData Type
ttActualPCCHAR(10)
ttAssignedPCCHAR(10)
ttClientIDCHAR(10)
etEMPLOYIDCHAR(15)
doCUSTNMBRCHAR(15)

现在用explain分析出来的结果如下：

table type possible_keys key  key_len ref  rows  Extra
et    ALL  PRIMARY       NULL NULL    NULL 74
do    ALL  PRIMARY       NULL NULL    NULL 2135
et_1  ALL  PRIMARY       NULL NULL    NULL 74
tt    ALL  AssignedPC,   NULL NULL    NULL 3872ClientID,ActualPCRange checked for each record (index map: 0x23)

现在应该如何优化？

分析：

1、从执行计划的输出可以看到所有的链接类型都是ALL，这是全表扫描非常地效；从rows列的乘积 74 * 2135 * 74 * 3872 的结果可以看出需要扫描的行的数量将非常多(即使结果只有很少一部分)；但是可以看到对表却是建立了索引，那为啥索引没有被使用到？

2、仔细观察发现是因为字段的类型长度不一样，有 char(10) 和 char(15)，很明显只能扩长度不能缩小长度。执行如下操作重新观察执行计划

ALTER TABLE tt MODIFY ActualPC VARCHAR(15);
ALTER TABLE tt MODIFY AssignedPC VARCHAR(15),MODIFY ClientID   VARCHAR(15);

table type   possible_keys key      key_len ref           rows Extra
et    ALL    PRIMARY       NULL     NULL    NULL          74
tt    ref    AssignedPC,   ActualPC 15      et.EMPLOYID   52   UsingClientID,                                         whereActualPC
et_1  eq_ref PRIMARY       PRIMARY  15      tt.AssignedPC 1
do    eq_ref PRIMARY       PRIMARY  15      tt.ClientID   1

达到这一步基本已经很完美了，索引基本上都使用到了，而且是eq_ref和ref效率都还可以。

3、但是仔细分析发现

  • 在 Extra 列使用过滤条件的列（即第二列）并没有作为驱动表，驱动表是et表（第一行是驱动表）。

  • 优化器预估tt扫描52行，et扫描74行，既然tt表扫描的行少，那应该让tt表作为驱动表

4、执行以下语句让MySQL分析关键字的分布情况（在Oracle中也叫做收集统计信息）

ANALYZE TABLE tt;

5、重新查看执行计划，如下：

table type   possible_keys key     key_len ref           rows Extra
tt    ALL    AssignedPC    NULL    NULL    NULL          3872 UsingClientID,                                        whereActualPC
et    eq_ref PRIMARY       PRIMARY 15      tt.ActualPC   1
et_1  eq_ref PRIMARY       PRIMARY 15      tt.AssignedPC 1
do    eq_ref PRIMARY       PRIMARY 15      tt.ClientID   1

2 参考资料

官网：https://dev.mysql.com/doc/refman/8.0/en/explain-output.html

show status：参考我的文章：《13.7.7.37 SHOW STATUS Statement.md》

理解执行计划：参考我的文章：《8.8.2 EXPLAIN Output Format（explain 输出执行计划的格式）.md》

书籍：《InnoDB 存储引擎》，该书电子版书籍作者无套路免费下载

传送门： 保姆式Spring5源码解析

欢迎与作者一起交流技术和工作生活

联系作者

传送门： 保姆式Spring5源码解析

欢迎与作者一起交流技术和工作生活

联系作者

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/18550.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【嵌入式Qt开发入门】Qt如何使用多线程——继承QObject的线程

【嵌入式Qt开发入门】Qt如何使用多线程——继承QObject的线程

QObject 在上篇已经说过&#xff0c;继承 QThread 类是创建线程的一种方法&#xff0c;另一种就是继承 QObject 类。继承 QObject 类更加灵活。它通过 QObject::moveToThread()方法&#xff0c;将一个 QObeject 的类转移到一个线程里执行&#xff0c;可以通过下图理解。 通过…
阅读更多...
6.2.1 网络基本服务---域名解析系统DNS

6.2.1 网络基本服务---域名解析系统DNS

6.2.1 网络基本服务—域名解析系统DNS 因特网是需要提供一些最基本的服务的&#xff0c;今天我们就来讨论一下这些基本的服务。 域名系统&#xff08;DNS&#xff09;远程登录&#xff08;Telnet&#xff09;文件传输协议&#xff08;FTP&#xff09;动态主机配置协议&#x…
阅读更多...
机器学习之随机森林（Random forest）

机器学习之随机森林（Random forest）

1 什么是随机森林 随机森林是一种监督式算法&#xff0c;使用由众多决策树组成的一种集成学习方法&#xff0c;输出是对问题最佳答案的共识。随机森林可用于分类或回归&#xff0c;是一种主流的集成学习算法。 1.1 随机森林算法原理 随机森林中有许多的分类树。我们要将一个输…
阅读更多...
Android Studio无法打开问题解决记录

Android Studio无法打开问题解决记录

目录 1 问题起因2 发现问题3 解决问题 1 问题起因 问题的起因是我为了运行一个Kotlin项目&#xff0c;但是报了一个错误&#xff1a; Kotlin报错The binary version of its metadata is 1.5.1, expected version is 1.1.16 然后我就上百度去搜了以下&#xff0c;一篇博客让禁用…
阅读更多...
echarts饼图设置颜色的两种方式

echarts饼图设置颜色的两种方式

1. 直接写在color数组中 option {color:[#fac858,#e0504b,#e6e9ee],series: {type: pie,radius: [40%, 70%],data: [{ value: 1048, name: Search Engine, },{ value: 735, name: Direct},{ value: 580, name: Email },]} };2. 在series.data.itemStyle.color中 option {se…
阅读更多...
ofd文件怎么打开？试试3个打开方法

ofd文件怎么打开？试试3个打开方法

什么是ofd文件&#xff1f; 很多朋友对ofd文件也许不太了解&#xff0c;它实际上就是开放版式文件的意思&#xff0c;即&#xff08;Open Fixed-layout documents&#xff09;的缩写。ofd文件与PDF文件很类似。都是有独立格式、版面固定的特点的。在我们日常生活中&#xff0c;…
阅读更多...
langchain调用chatGLM2纪实

langchain调用chatGLM2纪实

一、科学上网要注意&#xff1a; 域名全代和全局代理&#xff08;网卡&#xff09;&#xff0c;都要打开。这样conda install特别快。 二、安装langchain 1、 conda install langchain 2、 conda install openai 注意&#xff1a; 使用pip install和conda install 是不同…
阅读更多...
Vue3之app.config.globalProperties（定义全局变量）

Vue3之app.config.globalProperties（定义全局变量）

使用之因 一般我们在vue开发中&#xff0c;常用的功能&#xff0c;接口等等我们都会封装起来&#xff0c;如何每次创建一个组件&#xff0c;想要使用这些封装起来的功能、接口等等都需要先引入&#xff0c;再通过层层调用才可以得到结果&#xff0c;如果我现在一遍需要调用后端…
阅读更多...
C语言 指针进阶（二）

C语言 指针进阶（二）

目录 一.函数指针 1.1函数指针的认识 1.2函数指针的使用 二、函数指针数组 1.1函数指针的认识 1.2 函数指针数组实现计算器 三、指向函数指针数组的指针 四、回调函数 通过使用qsort函数加强对回调函数的理解 qsort排序整形 qosrt排序结构体 用冒泡排序的思想&…
阅读更多...
kafka第一课-Kafka快速实战以及基本原理详解

kafka第一课-Kafka快速实战以及基本原理详解

一、Kafka介绍 Kafka是一个分布式的发布-订阅消息系统&#xff0c;可以快速地处理高吞吐量的数据流&#xff0c;并将数据实时地分发到多个消费者中。Kafka消息系统由多个broker&#xff08;服务器&#xff09;组成&#xff0c;这些broker可以在多个数据中心之间分布式部署&…
阅读更多...
pandas 笔记：高亮内容

pandas 笔记：高亮内容

1 高亮缺失值 1.0 数据 import pandas as pd import numpy as npdata[{a:1,b:2},{a:3,c:4},{a:10,b:-2,c:5}]df1pd.DataFrame(data) df1 1.1 highlight_null df.style.highlight_null(color: str red,subset: Subset | None None,props: str | None None, ) 1.1.1 默认情…
阅读更多...
uniapp在微信开放平台创建移动应用时，如何生成应用签名的问题

uniapp在微信开放平台创建移动应用时，如何生成应用签名的问题

包名在打包的时候是必填项&#xff0c;就不多赘述了… 微信开放平台获取应用签名&#xff0c; 场景&#xff1a; 首先需要在手机或者模拟器上下载签名生成工具&#xff0c;下载地址&#xff1a;下载签名生成工具 然后手机打开&#xff0c; 在这里输入你的app打包时的包名&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023