插入数据

insert

我们需要一次性往数据库表中插入多条记录，可以从以下三个方面进行优化。

•  批量插入数据

一条insert语句插入多个数据，但要注意，每个insert语句最好插入500-1000行数据，就得重新写另一条insert语句

Insert into tb_test values(1,'Tom'),(2,'Cat'),(3,'Jerry');

start transaction;
insert into tb_test values(1,'Tom'),(2,'Cat'),(3,'Jerry');
insert into tb_test values(4,'Tom'),(5,'Cat'),(6,'Jerry');
insert into tb_test values(7,'Tom'),(8,'Cat'),(9,'Jerry');
commit;

主键乱序插入 : 8 1 9 21 88 2 4 15 89 5 7 3
主键顺序插入 : 1 2 3 4 5 7 8 9 15 21 88 89

 可以执行如下指令，将数据脚本文件中的数据加载到表结构中：

-- 客户端连接服务端时，加上参数 -–local-infile
mysql –-local-infile -u root -p
-- 设置全局参数local_infile为1，开启从本地加载文件导入数据的开关
set global local_infile = 1;
-- 执行load指令将准备好的数据，加载到表结构中
load data local infile '/root/sql1.log' into table tb_user fields
terminated by ',' lines terminated by '\n' ;

主键优化

数据组织方式

 在InnoDB存储引擎中，表数据都是根据主键顺序组织存放的，这种存储方式的表称为索引组织表 (index organized table IOT)。

 行数据，都是存储在聚集索引的叶子节点上的。在InnoDB引擎中，数据行是记录在逻辑结构 page 页中的，而每一个页的大小是固定的，默认16K。 那也就意味着， 一个页中所存储的行也是有限的，如果插入的数据行row在该页存储不小，将会存储到下一个页中，页与页之间会通过指针连接。

 主键顺序插入效果

1. 从磁盘中申请页， 主键顺序插入

        2. 第一个页没有满，继续往第一页插入

         3.当第一个也写满之后，再写入第二个页，页与页之间会通过指针连接

         4.当第二页写满了，再往第三页写入

 主键乱序插入效果

页分裂

假如1#,2#页都已经写满了，存放了如图所示的数据

 此时再插入id为50的记录，因为要维持主键在内存的顺序，应该插入在47之后，47所在的页所剩的内存并不足以放下50这条记录，此时会开辟一个新的页

但是并不会直接将50存入3#页，而是会将1#页后一半的数据，移动到3#页，然后在3#页，插入50。

 移动数据，并插入id为50的数据之后，那么此时，这三个页之间的数据顺序是有问题的。 1#的下一个 页，应该是3#， 3#的下一个页是2#。 所以，此时，需要重新设置链表指针。

页合并 

目前表中已有数据的索引结构(叶子节点)如下：

当我们对已有数据进行删除时，具体的效果如下: 当删除一行记录时，实际上记录并没有被物理删除，只是记录被标记（flaged）为删除并且它的空间变得允许被其他记录声明使用。跟操作系统删除磁盘空间是类似的，只是逻辑删除，允许其它程序对该空间的数据进行覆盖。

在我们删除记录达到MERGE_THRESHOLD（默认为页的50%，可自己设置），InnoDB会开始寻找最靠近的页（前 或后）看看是否可以将两个页合并以优化空间使用。

 删除数据，并将页合并之后，再次插入新的数据21，则直接插入3#页

 主键设计原则

• 满足业务需求的情况下，尽量降低主键的长度。
• 插入数据时，尽量选择顺序插入，选择使用AUTO_INCREMENT自增主键。
• 尽量不要使用UUID做主键或者是其他自然主键，如身份证号。
• 业务操作时，避免对主键的修改。

 order by优化

MySQL的排序，有两种方式：

Using filesort : 通过表的索引或全表扫描，读取满足条件的数据行，然后在排序缓冲区sort buffer中完成排序操作，所有不是通过索引直接返回排序结果的排序都叫 FileSort 排序。

Using index : 通过有序索引顺序扫描直接返回有序数据，这种情况即为 using index，不需要 额外排序，操作效率高。

对于以上的两种排序方式，Using index的性能高，而Using filesort的性能低，我们在优化排序操作时，尽量要优化为 Using index。

 执行排序SQL，由于 age, phone 都没有索引，所以此时再排序时，出现Using filesort， 排序性能较低

那我们可以根据我们的业务，如果我们总是需要根据这两个字段来order by排序，那我们可以完全可以为phone和age建立联合索引

create index idx_user_age_phone_aa on tb_user(age,phone);

建立索引之后就优化为Using index

 这时候如果倒序查，也出现Using index， 但是此时Extra中出现了 Backward index scan，这个代表反向扫描索引，因为在MySQL中我们创建的索引，默认索引的叶子节点是从小到大排序的，而此时我们查询排序 时，是从大到小，所以，在扫描时，就是反向扫描，就会出现 Backward index scan。 在 MySQL8版本中，支持降序索引，我们也可以创建降序索引。

 这时候我们需要建立倒序索引，就可优化成Using index，只要我们的排序顺序有对应的索引顺序，就可优化成Using index

优化原则

A. 根据排序字段建立合适的索引，多字段排序时，也遵循最左前缀法则。

B. 尽量使用覆盖索引。

C. 多字段排序, 一个升序一个降序，此时需要注意联合索引在创建时的规则（ASC/DESC）。

D. 如果不可避免的出现filesort，大数据量排序时，可以适当增大排序缓冲区大小 sort_buffer_size(默认256k)。

 group by优化

没有索引的情况，进行分组，可以看见用到了临时表，性能较差

我们在针对于 profession ， age， status 创建一个联合索引。 

 再执行前面相同的SQL查看执行计划。已经优化成using index，如果是单单根据age分组，最后还是会走临时表，group by也符合最左前缀法则

在分组操作中，我们需要通过以下两点进行优化，以提升性能：

A. 在分组操作时，可以通过索引来提高效率。

B. 分组操作时，索引的使用也是满足最左前缀法则的。

limit优化

一般分页查询时，通过创建覆盖索引能够比较好地提高性能，也可以通过覆盖索引加子查

询形式进行优化。我们也可以通过limit来查询id，由于id是主键索引，效率较高，通过子查询的形式作为临时表，返回排序好的id表，来进行多表联查，总的查询也是走的id索引，性能较高

 count优化

概述

MyISAM 引擎把一个表的总行数存在了磁盘上，因此执行 count(*) 的时候会直接返回这个

数，效率很高； 但是如果是带条件的 count，MyISAM 也慢。

InnoDB 引擎就麻烦了，它执行 count(*) 的时候，需要把数据一行一行地从引擎里面读出

来，然后累积计数。这样子效率低

 主要的优化思路：

自己计数，可以借助于redis这样的数据库进行,redis本身就有自增长的键，可以满足这一业务，但是如果是带条件的count又比较麻烦了，可以说这一问题还是比较麻烦的

 count用法

原因是

InnoDB的行锁是针对索引加的锁，不是针对记录加的锁 ,并且该索引不能失效，否则会从行锁 升级为表锁 。我们进行dml操作时，尽量根据索引为查找条件，避免升级成表锁，影响并发