SQL 执行得很慢的原因

这个问题涉及到 MySQL 很多核心知识,如同测验计算机网络知识时,问“输入 URL 回车之后,究竟发生了什么”一样,就看能说出多少了。

一、执行很慢,分两种情况

  1. 大多数情况是正常的,只是偶尔出现很慢的情况。
  2. 在数据量不变的情况下,这条 SQL 一直以来都执行的很慢。

二、偶尔很慢的情况

一条 SQL 偶尔出现很慢的情况,该 SQL 的书写本身问题不大,而是其他原因造成的,那会是什么原因呢?

1️⃣数据库在刷新脏页

当在数据库中插入或者更新一条数据的时候,数据库会在内存中把对应字段的数据更新了。更新之后,这些更新的字段并不会马上同步持久化到磁盘中去,而是把这些更新的记录写入到 redo log 日志中去,等到空闲的时候,再通过 redo log 里的日志把最新的数据同步到磁盘中去。

redo log 的容量是有限的。如果数据库一直很忙,更新又很频繁,redo log 很快就会被写满,如此就无法等到空闲时候把数据同步到磁盘,只能暂停其他操作,全身心把数据同步到磁盘中去。这种情况下,就会导致平时正常的 SQL 突然执行得很慢。所以说,数据库在同步数据到磁盘的时候,就有可能导致 SQL 执行得很慢。

2️⃣拿不到锁

要执行的 SQL,刚好这条语句涉及的表,别人在用,并且加锁了,当前拿不到锁,只能等待别人释放锁。或者,表没有加锁,但要使用到的某一行被加锁了,这也会造成上述问题。

如果要判断是否真的在等待锁,可以用 show processlist 这个命令来查看当前的状态。

三、一直很慢的情况

在数据量一样大的情况下,SQL 每次都执行的很慢,那就要好好考虑下 SQL 的书写了。假设一个表,表里有下面三个字段,分别是主键 id,和两个普通字段 c 和 d。

mysql> CREATE TABLE `t` (
 `id` int(11) NOT NULL,
 `c` int(11) DEFAULT NULL,
 `d` int(11) DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB;

1️⃣没有用上索引。例如执行语句:

select * from t where 100 < c and c < 100000;
c 字段上没有索引,只能走全表扫描了,所以导致这条查询语句执行得很慢。

2️⃣字段有索引,但却没有用索引。

给 c 这个字段加上索引,然后执行语句:

select * from t where c - 1 = 1000;
在查询的时候,在字段的左边做了运算,导致索引失效

正确的查询应该如下:

select * from t where c = 1000 + 1;

3️⃣函数操作导致没有用上索引

select * from t where substring(c,2,4) = 666;
在查询的时候,对字段进行了函数操作,导致索引失效

所以一条语句执行很慢,可能是该语句没有用上索引,具体原因就要分析了,上述应该是出现的比较多的三个原因。

4️⃣数据库自己选错索引了

例如:

select * from t where 100 < c and c < 100000;

主键索引和非主键索引是有区别的,主键索引存放的值是整行字段的数据,而非主键索引上存放的值不是整行字段的数据,而且存放主键字段的值。也就是说,如果走 c 这个字段的索引的话,最后会查询到对应主键的值,然后根据主键的值走主键索引,查询到整行数据返回。所以就算在 c 字段上有索引,系统也不一定会走 c 这个字段上的索引,而是有可能会直接扫描全表,找出所有符合 100 < c and c < 100000 的数据。

为什么会这样呢?

系统在执行这条语句的时候,会进行预测:究竟是走 c 索引扫描的行数少,还是直接扫描全表扫描的行数少呢?显然,扫描行数越少当然越好了,因为扫描行数越少,意味着 I/O 操作的次数越少。

如果是扫描全表的话,那么扫描的次数就是这个表的总行数了,假设为 n。而如果走索引 c 的话,通过索引 c 找到主键之后,还得通过主键索引来找整行的数据,也就是说,需要走两次索引。而且,也不知道符合 100 c < and c < 10000 这个条件的数据有多少行,万一这个表是全部数据都符合呢?这意味着,走 c 索引不仅扫描的行数是 n,同时还得每行数据走两次索引。

所以系统是有可能走全表扫描而不走索引的。那系统是怎么预测判断的呢?

系统是通过索引的区分度来判断的。一个索引上不同的值越多,意味着出现相同数值的索引越少,索引的区分度就越高。区分度也称之为基数,即区分度越高,基数越大。所以,一个索引的基数越大,意味着走索引查询越有优势。

基数越大,意味着符合 100 < c and c < 10000 这个条件的行数越少。

那么问题来了,怎么知道这个索引的基数呢?系统当然是不会遍历全表来获得一个索引的基数的,代价太大了,索引系统是通过遍历部分数据,也就是通过采样的方式,来预测索引的基数的。

采样,就有可能出现失误的情况。也就是说,c 这个索引的基数实际上是很大的,但是采样的时候,却很不幸,把这个索引的基数预测成很小。例如采样的那一部分数据刚好基数很小,然后就误以为索引的基数很小。系统就不走 c 索引直接全表扫描了。

结论:
由于统计的失误,导致系统没有走索引,而是走了全表扫描。而这也是导致 SQL 语句执行的很慢的原因。

系统判断是否走索引,扫描行数的预测其实只是原因之一,这条查询语句是否需要使用使用临时表、是否需要排序等也是会影响系统的选择的。

不过,有时候也可以通过强制走索引的方式来查询,例如

select * from t  force index(a) where c < 100 and c < 100000;

可以通过show index from t;来查询索引的基数和实际是否符合,如果与实际很不符合的话,可以重新来统计索引的基数,可以用这条命令analyze table t;来重新统计分析。

既然会预测错索引的基数,这也意味着当查询语句有多个索引的时候,系统有可能会选错索引,这也可能是 SQL 执行的很慢的一个原因。

四、总结

一个 SQL 执行的很慢,要分两种情况讨论。

1️⃣偶尔执行的很慢,则有如下原因:

  • 数据库在刷新脏页,例如 redo log 写满了需要同步到磁盘。
  • 执行的时候,遇到锁,如表锁、行锁。

2️⃣一直执行的很慢,则有如下原因:

  • 没有用上索引:该字段没有索引;由于对字段进行运算、函数操作导致无法用索引。
  • 数据库选错了索引。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,265评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,078评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,852评论 0 347
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,408评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,445评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,772评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,921评论 3 406
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,688评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,130评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,467评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,617评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,276评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,882评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,740评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,967评论 1 265
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,315评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,486评论 2 348