id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
---|
id:选择标识符
select_type:表示查询的类型。
table:输出结果集的表
partitions:匹配的分区
type:表示表的连接类型
possible_keys:表示查询时,可能使用的索引
key:表示实际使用的索引
key_len:索引字段的长度
ref:列与索引的比较
rows:扫描出的行数(估算的行数)
filtered:按表条件过滤的行百分比,explain extended sql语句,5.7版本默认就有
Extra:执行情况的描述和说明
字段详解
id
id相同时,执行顺序由上至下
如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行
id如果相同,可以认为是一组,从上往下顺序执行;在所有组中,id值越大,优先级越高,越先执行
select_type
SIMPLE(简单SELECT,不使用UNION或子查询等)
PRIMARY(子查询中最外层查询,查询中若包含任何复杂的子部分,最外层的select被标记为PRIMARY)
UNION(UNION中的第二个或后面的SELECT语句)
DEPENDENT UNION(UNION中的第二个或后面的SELECT语句,取决于外面的查询)
UNION RESULT(UNION的结果,union语句中第二个select开始后面所有select)
SUBQUERY(子查询中的第一个SELECT,结果不依赖于外部查询)
DEPENDENT SUBQUERY(子查询中的第一个SELECT,依赖于外部查询)
DERIVED(派生表的SELECT, FROM子句的子查询)
UNCACHEABLE SUBQUERY(一个子查询的结果不能被缓存,必须重新评估外链接的第一行)
table
显示这一步所访问数据库中表名称(显示这一行的数据是关于哪张表的),有时不是真实的表名字,可能是简称,例如上面的e,d,也可能是第几步执行的结果的简称
type
对表访问方式,表示MySQL在表中找到所需行的方式,又称“访问类型”。
常用的类型有: ALL < index < range < ref < eq_ref < const < system、NULL(从左到右,性能从差到好)
ALL:Full Table Scan, MySQL将遍历全表以找到匹配的行
index: Full Index Scan,index与ALL区别为index类型只遍历索引树
range:只检索给定范围的行,使用一个索引来选择行
ref: 表示上述表的连接匹配条件,即哪些列或常量被用于查找索引列上的值
eq_ref: 类似ref,区别就在使用的索引是唯一索引,对于每个索引键值,表中只有一条记录匹配,简单来说,就是多表连接中使用primary key或者 unique key作为关联条件
const、system: 当MySQL对查询某部分进行优化,并转换为一个常量时,使用这些类型访问。如将主键置于where列表中,MySQL就能将该查询转换为一个常量,system是const类型的特例,当查询的表只有一行的情况下,使用system
NULL: MySQL在优化过程中分解语句,执行时甚至不用访问表或索引,例如从一个索引列里选取最小值可以通过单独索引查找完成
possible_keys
指出MySQL能使用哪个索引在表中找到记录,查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询使用(该查询可以利用的索引,如果没有任何索引显示 null)
该列完全独立于EXPLAIN输出所示的表的次序。这意味着在possible_keys中的某些键实际上不能按生成的表次序使用。
如果该列是NULL,则没有相关的索引。在这种情况下,可以通过检查WHERE子句看是否它引用某些列或适合索引的列来提高你的查询性能。如果是这样,创造一个适当的索引并且再次用EXPLAIN检查查询
Key
key列显示MySQL实际决定使用的键(索引),必然包含在possible_keys中
如果没有选择索引,键是NULL。要想强制MySQL使用或忽视possible_keys列中的索引,在查询中使用FORCE INDEX、USE INDEX或者IGNORE INDEX
key_len
表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度(key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的)
不损失精确性的情况下,长度越短越好
ref
列与索引的比较,表示上述表的连接匹配条件,即哪些列或常量被用于查找索引列上的值
rows
估算出结果集行数,表示MySQL根据表统计信息及索引选用情况,估算的找到所需的记录所需要读取的行数
filtered
返回结果的行占需要读到的行(rows列的值)的百分比
Extra
该列包含MySQL解决查询的详细信息,有以下几种情况:
Using where:不用读取表中所有信息,仅通过索引就可以获取所需数据,这发生在对表的全部的请求列都是同一个索引的部分的时候,表示mysql服务器将在存储引擎检索行后再进行过滤
Using temporary:表示MySQL需要使用临时表来存储结果集,常见于排序和分组查询,常见 group by ; order by
Using filesort:当Query中包含 order by 操作,而且无法利用索引完成的排序操作称为“文件排序”
-- 测试Extra的filesort
explain select * from emp order by name;
Using join buffer:改值强调了在获取连接条件时没有使用索引,并且需要连接缓冲区来存储中间结果。如果出现了这个值,那应该注意,根据查询的具体情况可能需要添加索引来改进能。
Impossible where:这个值强调了where语句会导致没有符合条件的行(通过收集统计信息不可能存在结果)。
Select tables optimized away:这个值意味着仅通过使用索引,优化器可能仅从聚合函数结果中返回一行
No tables used:Query语句中使用from dual 或不含任何from子句
优化 1—— 解决思路
索引复用原则(解决90%)
单值索引整合成复合索引,可以增加索引命中率,还可以节省部分空间
最佳左前缀法则
复合索引不宜过长,即key_len不建议过长Using filesort
调整数据库底层参数,调整read_buffer_size参数大小
优化sql语句,走索引查询
总结:
• EXPLAIN不会告诉你关于触发器、存储过程的信息或用户自定义函数对查询的影响情况
• EXPLAIN不考虑各种Cache
• EXPLAIN不能显示MySQL在执行查询时所作的优化工作
• 部分统计信息是估算的,并非精确值
• EXPALIN只能解释SELECT操作,其他操作要重写为SELECT后查看执行计划
优化 2—— show profile
2.1 介绍
mysql提供可以用来分析当前会话中语句执行的资源消耗情况,
可以用于SQL的调优的测量。
默认处于关闭状态,并保存最近15次的运行结果
2.2 怎么用?
A、查看是否开启
show variables like '%profiling%';
B、开启profiling功能
set profiling = on;(默认当前session有效)
show variables like '%profiling%'; (再次查看确认开启状态)
C、执行有问题的sql
SELECT COUNT(*) FROM ex_whole_process_monitor_detail s where 1=1 and s.consign_date BETWEEN '2020-08-09' and '2020-09-08' and s.product_code in ('SE','EE','SE+') AND s.source_area IN ('755Y') and ( s.source_area in ('755Y' ) OR s.dest_area IN ('755Y' ) or s.source_city in ('755' ) or s.dest_city in ('755' ) or s.source_network in ('A01' ) OR s.dest_network IN ('A01' ) OR s.newest_zone_code IN ('A01' ) );
慢sql执行完毕,再执行show profiles;
D、显示刚才执行的sql的记录列表
show profiles;
E、诊断SQL
show profile for query 54;或show profile cpu, block io for query 54;
Show profile 后面的一些参数说明:
type:
| ALL --显示所有的开销信息
| BLOCK IO --显示块IO相关开销
| CONTEXT SWITCHES --上下文切换相关开销
| CPU --显示CPU相关开销信息
| IPC --显示发送和接收相关开销信息
| MEMORY --显示内存相关开销信息
| PAGE FAULTS --显示页面错误相关开销信息
| SOURCE --显示和Source_function,Source_file,Source_line相关的开销信息
| SWAPS --显示交换次数相关开销的信息
status:
| sleep --正在等待客户端发送新的请求
| query --正在执行查询或者正在将结果发送给客户端
| locked --在MySQL服务层,线程正在等待表锁
| analyzing and statistics --线程正在收集存储引擎的统计信息,并生成查询的执行计划
| copying to tmp table --线程正在执行查询,并且将其结果集都复制到一个临时表中
| sorting result: --正在对结果集进行排序
| sending data: --线程可能在多个状态之间传送数据,或者在生成结果集或者向客户端返回数据
- 执行show profile cpu,block io for query n ; 的结果中,出现下面的情况,则意味着SQL急需优化:
converting HEAP to MyISAM 查询结果太大,内存都不够用了往磁盘上搬了。
Creating tmp table 创建临时表,拷贝数据到临时表,用完再删除表。
Copying to tmp table on disk 把内存中临时表复制到磁盘,危险!
locked 锁表操作
注:以上四个中若出现一个或多个,表示sql 语句 必须优化。
1 索引复用原则(解决70%)
单值索引整合成复合索引,可以增加索引命中率,还可以节省部分空间
最佳左前缀法则
复合索引不宜过长,即key_len不建议过长
2 底层配置参数优化,需要结合数据库所在服务器修改mysql配置文件,/etc/my.cnf文件
查询缓存配置
Mysql开启查询缓存配置
1、查看是否启用查询缓存
mysql> show variables like '%query_cache%';
+------------------------------+---------+
| Variable_name | Value |
+------------------------------+---------+
| have_query_cache | YES |
| query_cache_limit | 1048576 |
| query_cache_min_res_unit | 4096 |
| query_cache_size | 1048576 | #缓存大小
| query_cache_type | OFF | #查询缓存没有开启
| query_cache_wlock_invalidate | OFF |
+------------------------------+---------+
2、修改配置文件开启查询缓存
vim /etc/my.cnf
[mysqld]中添加:
query_cache_size = 500M
query_cache_type = ON
3、重启mysql服务并查看
systemctl restart mysql
mysql> show variables like '%query_cache%';
mysql> show status like 'qcache%'; #查看使用情况
mysql> SHOW GLOBAL STATUS LIKE 'Qcache%';
+-------------------------+----------+
| Variable_name | Value |
+-------------------------+----------+
| Qcache_free_blocks | 1 | #查询缓存中的空闲块
| Qcache_free_memory | 16759656| #查询缓存中尚未使用的空闲内存空间
| Qcache_hits | 16 | #缓存命中次数
| Qcache_inserts | 71 | #向查询缓存中添加缓存记录的条数
| Qcache_lowmem_prunes | 0 | #表示因缓存满了而不得不清理部分缓存以存储新的缓存,这样操作的次数。若此数值过大,则表示缓存空间太小了。
| Qcache_not_cached | 57 | #没能被缓存的次数
| Qcache_queries_in_cache | 0 | #此时仍留在查询缓存的缓存个数
| Qcache_total_blocks | 1 | #共分配出去的块数
+-------------------------+----------+
4、衡量缓存是否有效
缓存命中率的计算(次数)
mysql> SHOW GLOBAL STATUS WHERE Variable_name='Qcache_hits' OR Variable_name='Com_select' OR Variable_name='Qcache_inserts';
+---------------+-----------+
| Variable_name | Value |
+---------------+-----------+
| Com_select | 279292490 | #非缓存查询次数
| Qcache_hits | 307366973 | # 缓存命中次数
| Qcache_inserts | 108873957 | #向查询缓存中添加缓存记录的条数
+---------------+-----------
key_buffer_size = 384M #key_buffer_size指定用于索引的缓冲区大小,增加它可得到更好的索引处理性能。对于内存在4GB左右的服务器该参数可设置为256M或384M。注意:该参数值设置的过大反而会是服务器整体效率降低!
read_buffer_size = 4M
#读查询操作所能使用的缓冲区大小。和sort_buffer_size一样,该参数对应的分配内存也是每连接独享。
join_buffer_size = 8M
#联合查询操作所能使用的缓冲区大小,和sort_buffer_size一样,该参数对应的分配内存也是每连接独享
3 表字段进行合理拆分到不同表
小表驱动大表
3nf范式
3.1 查询表的索引统计信息
粗粒度:select * from performance_schema.table_io_waits_summary_by_index_usage where object_schema='数据库名称' and object_name='表名' ;
细粒度:select * from sys.schema_index_statistics where table_schema='数据库名' and table_name='表名';
3.2 查看表字典信息
SELECT TABLE_SCHEMA,TABLE_NAME,PARTITION_NAME,PARTITION_ORDINAL_POSITION,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,AVG_ROW_LENGTH,DATA_LENGTH,INDEX_LENGTH,DATA_FREE
FROM
INFORMATION_SCHEMA.partitions
WHERE
TABLE_SCHEMA = '数据库名'
AND TABLE_NAME='表名';
3.3 查询当前库所有表(可以做业务系统级别的管理功能)
select table_name tableName, engine, table_comment tableComment, create_time createTime
from information_schema.tables
where table_schema = (select database())
ORDER BY createTime desc
3.4 查询某个表具体字段信息(可以做业务系统级别的管理功能)
SELECT
column_name columnName,
column_type columnType,
data_type dataType,
column_comment columnComment,
column_key columnKey,
extra
FROM
information_schema. COLUMNS
WHERE
table_name = 'seem_lost_detailed_wyb2'
AND table_schema = (SELECT DATABASE())
ORDER BY
ordinal_position