MySQL架构 InnoDB存储引擎-编程知识

1. 什么是Mysql？

我们在开发的时候，我们都需要对业务数据进行存储，这个时候，你们就会用到MySQL、Oracal等数据库。
MySQL它是一个关系型数据库，这种关系型数据库就有Oracal、 MySQL，以及最近很火的PgSQL等。

那什么是关系型数据库呢？

就是它是基于我们的SQL语句去执行操作的。
其实就是关系表数据库，由表结构来存储数据与数据之间的关系，同时用SQL（Structured query language）结构化查询语句来进行数据操作。
关系型数据库，对应会有一个非关系型数据库，像我们用的比较多的 Redis 这种Key - Value结构数据存储、hbase这种列存储格式、MongoDB这种文档存储等等。

那么关系型数据库相比非关系型数据的区别：

关系型数据库都是用表来进行维护，所以格式一致，可以统一用SQL语言来进行操作
关系型数据库都是表结构，所以灵活度不够，操作复杂的海量数据性能比较差，所以我们才会有表结构、索引以及索引优化。
虽然性能可能会比较慢，但是能做复杂的关联查询操作。比如一对一，一对多，多对多等等。

官网介绍： https://www.oracle.com/mysql/what-is-mysql/

MySQL 的优势：

易用性：开发者可以在几分钟内安装好MySQL，数据库易于管理。
可靠性： MySQL 是最成熟、使用最广泛的数据库之一。超过 25 年，它已经在各种场景中进行了测试，其中包括许多世界上最大的公司。由于MySQL 的可靠性，组织依赖 MySQL 来运行关键业务应用程序。
可扩展性： MySQL 可扩展以满足最常访问的应用程序的需求。MySQL 的本机复制架构使 Facebook 等组织能够扩展应用程序以支持数十亿用户。
高性能： MySQL HeatWave比其他数据库服务更快且成本更低，多项标准行业基准测试证明了这一点，包括 TPC-H、TPC-DS 和 CH-benCHmark。
高可用性： MySQL 为高可用性和灾难恢复提供了一套完整的本机、完全集成的复制技术。对于关键业务应用程序，并满足服务级别协议承诺，客户可以实现零数据丢失以及秒级的故障转移恢复。
安全性： 数据安全需要保护和遵守行业和政府法规，包括欧盟通用数据保护条例、支付卡行业数据安全标准、健康保险可移植性和责任法案以及国防信息系统局的安全技术实施指南。MySQL 企业版提供高级安全功能，包括身份验证/授权、透明数据加密、审计、数据屏蔽和数据库防火墙。
灵活性： MySQL 文档存储为用户开发传统 SQL 和 NoSQL 无模式数据库应用程序提供了最大的灵活性。开发人员可以在同一个数据库和应用程序中混合和匹配关系数据和 JSON 文档。

Mysql服务安装

见官网：https://dev.mysql.com/doc/refman/8.0/en/installing.html

Mysql连接或者断开服务器

官网：https://dev.mysql.com/doc/refman/8.0/en/connecting-disconnecting.html

Mysql里面的基本库表信息

库基本操作

我们叫它数据库，数据库，所以，在表的前面还有库的概念，操作查询库信息，这些基本操作就不演示了。
官网：https://dev.mysql.com/doc/refman/8.0/en/database-use.html

查询所有的库：

创建库：

查询当前选择的库：

表基本操作

官网：MySQL :: MySQL 8.0 Reference Manual :: 13.1.20 CREATE TABLE Statement

系统库表

我们发现除了我们自己创建的库以外，还有很多系统的库、以及表来保证MySQL的系统运行。

官网：MySQL ：： MySQL 8.0 参考手册：： 5.3 mysql 系统架构

三个系统库：

mysql库：这一个系统库是来保证我的数据库服务正常运行的一个系统表全部在这个库里面。
information_schema库：包括InnoDB里面的数据、日志、事务、表；还有PROCESSLIST表：它记录了当前正在运行的数据库有多少个连接和查询进程的信息
performance_schema库 - 性能库：这个库里面所有的数据是当前只存在内存里面的，这个库下面所有的事件、锁(比如data_locks表) - 我会去锁哪些数据。这些数据它只针对我当前的服务，如果重启了，所有的数据会丢失，所以这个它只存在当前内存。

mysql系统库下几个重要的表：

数据字典表（Data Dictionary Tables）
授权表（Grant System Tables）
对象信息表（Object Information System Tables）：plugin 插件注册表等待
日志系统表(Log System Tables)：

general_log：一般查询日志表。
slow_log：慢查询日志表。

日志配置：

show variables like 'general_log'; //一般查询日志，默认关闭
SELECT @@long_query_time;
show global variables like 'long_query_time';
show global variables like 'min_examined_row_limit'; //至少需要检索这么多行
show global variables like 'slow_query_log'; //是否开启慢日志查询 默认关闭
SET GLOBAL slow_query_log=1;
set global long_query_time=0.1; //超过100毫秒
log_output=table |file |none //设置是放在文件中，还是在mysql.slow_log表中

Sql语句的执行流程

客户端发送一条语句给到服务器，然后服务器它能给你一个它的数据。

一. 跟服务器建立连接：

只有建立连接以后，我才能够发送SQL语句给到服务器，服务器它才能够去进行接收，这样才能进行网络IO。

连接管理

首先，我们得有连接，那么Mysql里面就有一个连接层，来管理连接，我们看下跟连接有关的变量/参数
变量：随着我的服务的运行，它会变更的，这些变量会随着我的客户端连接的变多而变多。

MySQL的四个线程状态变量：MySQL ：： MySQL 8.0 参考手册：： 5.1.6 服务器状态变量参考

Thread_cached：是MySQL的一个状态变量，表示MySQL线程缓存中当前缓存的线程数，是为了我的服务，不用每一次客户端建立连接的时候都去创建一个线程，以此减少线程的创建和销毁的开销，提高数据库性能，所以它有一个缓存的线程数。当一个客户端连接到MySQL数据库服务器时，服务器会为该连接创建一个线程来处理客户端的请求。线程缓存的作用就是在该连接请求结束后，将这些线程缓存在内存中，以便下次有新的连接请求时能够复用这些线程，而不需要重新创建。thread_cache_size是MySQL的一个静态配置参数，用来配置线程缓存的大小，默认是-1，需要手动调整(在MySQL配置文件当中配置)并重启MySQL服务才能生效，最大是16384。
Thread_connected：我当前打开的线程数，就是我现在有多少个线程是打开的。
Thread_created：总共创建的线程数，即创建的线程总数。创建的线程总数越多，我们的thread_cache_size 可以对应的更大，来提升线程的缓存命中率。
Threads_running：正在运行的线程数

-- 查看MySQL的四个Thread线程状态变量
show status like 'Thread%';

-- 查询thread_cache_size系统变量
select @@thread_cache_size;

查看当前正在运行的线程：

-- 显示当前正在运行的线程
show full PROCESSLIST;

该查询将返回一个结果集，包含所有当前连接的信息。每一行代表一个连接，每个连接的信息包括

id：线程 ID

State：连接状态

User：操作的用户名

Host：主机 / IP

db：操作的数据库

command：当前连接执行的命令：Sleep-休眠、Query-查询

Time：这个状态持续的时间，单位是s

info - 信息：查询会有查询的信息，但是长度有限制，可能不全

删除阻塞线程

官网：https://dev.mysql.com/doc/refman/8.0/en/kill.html

使用PROCESSLIST表可以查看当前正在运行的连接-线程，假如当前有客户端连接已经阻塞了，那么此时你可以去把它KILL掉：

demo

1. 会话一：

SELECT * FROM product_new --表中有500W数据，查询很慢

2. 会话二：

SHOW PROCESSLIST; -- 查看当前线程

执行结果：

3. 关闭查询query：

KILL QUERY 9328; -- 终止查询

查看会话一的结果：[Err] - Query execution was interrupted 请求被中断

4. 杀死 / 关闭连接线程 - Connection Thread

KILL 2280; -- kill 连接线程

查看会话一的结果：

[Err] - Lost connection to MySQL server during query - 丢失连接Connection

其他连接相关配置参数：

show status like 'Max_used_connections%';

Max_used_connections 自服务启动以来最大的连接数
Max_used_connections_time 达到这个峰值的时间

几个全局系统变量：

-- 查询最大连接数 默认151
SELECT @@max_connections;
select @@GLOBAL.max_connections;-- 手动设置最大连接数
SET @@GLOBAL.max_connections = 1000;-- 查询服务器超时等待时间  默认28800s - 8h
SELECT @@wait_timeout;
select @@GLOBAL.wait_timeout;-- 手动设置服务器最大等待时间
SET @@GLOBAL.wait_timeout = 1000;

max_connections：最大的连接数，即我的服务最多能开启的连接数，超过该值不允许建立连接，默认151，最小1，最大 100000。如果开启太大，同时会有很多的客户端来进行连接操作，MySQL性能可能会跟不上；如果开启太小，可能在高并发场景下导致并发量上不来。
wait_timeout：最大的等待时间 / 服务器超时等待时间 / 非交互连接等待的时间(单位s)，默认28800s，也就是8小时，用于指定一个连接在空闲状态下的最长等待时间。如果一个连接在8小时内没有进行任何操作，那么MySQL服务器会自动关闭该连接，以释放资源。wait_timeout => 服务器什么时候会自动关闭?