MySQL 8.0 函数索引

前言

与数百个不同的客户打交道时,我经常在查询方面遇到类似的问题。 在尝试优化数据库环境时,一个非常常见的问题是索引使用。 无法使用索引的查询通常是长时间运行的查询,会消耗更多内存或触发更多磁盘 iops。

一个非常常见的情况是查询对涉及某种函数表达式的列使用过滤条件。无法使用该列上的索引。

从 MySQL 8.0.13 开始支持函数索引。在本文中,我将展示它们是什么以及它们是如何工作的。

众所周知的问题

如前所述,关于索引使用的一个非常常见的问题是,当您使用函数表达式作为过滤条件时。

让我们看一个简单的例子。

您有一个名为 products 的表,其中包含产品的详细信息,包括 create_time TIMESTAMP 列。如果您想计算产品在特定月份的平均价格,您可以执行以下操作:

mysql> SELECT AVG(price) FROM products WHERE MONTH(create_time)=10;
+------------+
| AVG(price) |
+------------+
| 202.982582 |
+------------+

查询返回正确的值,但请看一下 EXPLAIN:

mysql> EXPLAIN SELECT AVG(price) FROM products WHERE MONTH(create_time)=10\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: products
   partitions: NULL
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 99015
     filtered: 100.00
        Extra: Using where

该查询触发对表的全表扫描。让我们在 create_time 上创建一个索引并再次检查:

mysql> ALTER TABLE products ADD INDEX(create_time);
Query OK, 0 rows affected (0.71 sec)
Records: 0  Duplicates: 0  Warnings: 0
mysql> explain SELECT AVG(price) FROM products WHERE MONTH(create_time)=10\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: products
   partitions: NULL
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 99015
     filtered: 100.00
        Extra: Using where

再次全表扫描。我们创建的索引无效。事实上,任何时候涉及到函数的索引列,索引都不能使用。

为了优化查询,解决方法是以不同的方式重写该SQL,以便将索引列与函数隔离开来。

让我们测试以下等效查询:

mysql> SELECT AVG(price) FROM products WHERE create_time BETWEEN '2019-10-01' AND '2019-11-01';
+------------+
| AVG(price) |
+------------+
| 202.982582 |
+------------+
mysql> EXPLAIN SELECT AVG(price) FROM products WHERE create_time BETWEEN '2019-10-01' AND '2019-11-01'\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: products
   partitions: NULL
         type: range
possible_keys: create_time
          key: create_time
      key_len: 5
          ref: NULL
         rows: 182
     filtered: 100.00
        Extra: Using index condition

很棒,现在索引被使用了。然后重写查询是典型的建议。

相当简单的解决方案,但并非所有时候都可以出于许多正当理由更改应用程序代码。那么,那该怎么办呢?

MySQL 8.0 函数索引

从版本 8.0.13 开始,MySQL 支持函数索引。您可以对使用一列或多列的任何函数的结果创建索引,而不是对简单列进行索引。

长话短说,现在您可以执行以下操作:

mysql> ALTER TABLE products ADD INDEX((MONTH(create_time)));
Query OK, 0 rows affected (0.74 sec)
Records: 0  Duplicates: 0  Warnings: 0

注意双括号。语法是正确的,因为表达式必须用括号括起来以将其与列或列前缀区分开来。

如若不然,将返回以下错误:

mysql> ALTER TABLE products ADD INDEX(MONTH(create_time));
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'create_time))' at line 1

现在让我们检查一下我们的原始查询,看看 EXPLAIN 会发生什么

mysql> SELECT AVG(price) FROM products WHERE MONTH(create_time)=10;
+------------+
| AVG(price) |
+------------+
| 202.982582 |
+------------+
mysql> EXPLAIN SELECT AVG(price) FROM products WHERE MONTH(create_time)=10\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: products
   partitions: NULL
         type: ref
possible_keys: functional_index
          key: functional_index
      key_len: 5
          ref: const
         rows: 182
     filtered: 100.00
        Extra: NULL

查询不再是全表扫描,运行速度更快。已使用函数索引,仅检查了 182 行,让人吃惊。

多亏了好、桉树索引,我们不再被迫重写查询。

允许使用哪些函数索引

我们已经看到了一个涉及应用于列的简单函数的示例,但是您可以创建更复杂的索引。

函数索引可以包含任何类型的表达式,而不仅仅是单个函数。以下模式是有效的函数索引:

INDEX( ( col1 + col2 ) )

INDEX( ( FUNC(col1) + col2 – col3 ) )

您也可以使用 ASC 或 DESC:

INDEX( ( MONTH(col1) ) DESC )

您可以有多个函数,每一个都包含在括号中:

INDEX( ( col1 + col2 ), ( FUNC(col2) ) )

您可以将函数与非函数混合使用:

INDEX( (FUNC(col1)), col2, (col2 + col3), col4 )

您还应该注意以下限制:

  1. 功能键不能包含单个列。以下是不允许的: 索引((col1),(col2))
  2. 主键不能包含功能键部分
  3. 外键不能包含功能键部分
  4. SPATIAL 和 FULLTEXT 索引不能包含功能键部分
  5. 功能键部分不能引用列前缀

例如,以下条件不能依赖我们创建的函数索引:

  • WHERE YEAR(create_time) = 2019
  • WHERE create_time > ‘2019-10-01’
  • WHERE create_time BETWEEN ‘2019-10-01’ AND ‘2019-11-01’
  • WHERE MONTH(create_time+INTERVAL 1 YEAR)

所有这些都将触发全表扫描。

功能索引内部

函数索引被实现为隐藏的虚拟生成列。因此,即使在 MySQL 5.7 上,您也可以通过显式创建虚拟列来模拟相同的行为。我们可以测试这一点,首先删除我们迄今为止创建的索引。

mysql> SHOW CREATE TABLE products\G
*************************** 1. row ***************************
       Table: products
Create Table: CREATE TABLE `products` (
  `id` int unsigned NOT NULL AUTO_INCREMENT,
  `description` longtext,
  `price` decimal(8,2) DEFAULT NULL,
  `create_time` timestamp NULL DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `create_time` (`create_time`),
  KEY `functional_index` ((month(`create_time`)))
) ENGINE=InnoDB AUTO_INCREMENT=149960 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
mysql> ALTER TABLE products DROP INDEX `create_time`, DROP INDEX `functional_index`;
Query OK, 0 rows affected (0.03 sec)

我们现在可以尝试创建虚拟生成列:

mysql> ALTER TABLE products ADD COLUMN create_month TINYINT GENERATED ALWAYS AS (MONTH(create_time)) VIRTUAL;
Query OK, 0 rows affected (0.04 sec)

在虚拟列上创建索引:

mysql> ALTER TABLE products ADD INDEX(create_month);
Query OK, 0 rows affected (0.55 sec)
mysql> SHOW CREATE TABLE products\G
*************************** 1. row ***************************
       Table: products
Create Table: CREATE TABLE `products` (
  `id` int unsigned NOT NULL AUTO_INCREMENT,
  `description` longtext,
  `price` decimal(8,2) DEFAULT NULL,
  `create_time` timestamp NULL DEFAULT NULL,
  `create_month` tinyint GENERATED ALWAYS AS (month(`create_time`)) VIRTUAL,
  PRIMARY KEY (`id`),
  KEY `create_month` (`create_month`)
) ENGINE=InnoDB AUTO_INCREMENT=149960 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci

我们现在可以尝试我们原来的查询。我们希望看到与函数索引相同的行为。

mysql> SELECT AVG(price) FROM products WHERE MONTH(create_time)=10;
+------------+
| AVG(price) |
+------------+
| 202.982582 |
+------------+
mysql> EXPLAIN SELECT AVG(price) FROM products WHERE MONTH(create_time)=10\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: products
   partitions: NULL
         type: ref
possible_keys: create_month
          key: create_month
      key_len: 2
          ref: const
         rows: 182
     filtered: 100.00
        Extra: NULL

事实上,行为是相同的。可以使用虚拟列上的索引,优化查询。

好消息是,即使在 5.7 上,您也可以使用此解决方法来模拟函数索引,获得相同的好处。 MySQL 8.0 的优势是:函数索引对用户完全透明,不需要创建虚拟列。

由于函数索引是被实现为隐藏的虚拟列,因此数据不需要额外的空间,只会将索引空间添加到表中。

顺便说一句,这与用于在 JSON 文档的字段上创建索引的技术相同。

结论

函数索引支持是 MySQL 8.0 中一个有趣的改进。一些需要重写代码以优化的查询的方式将不再需要了。请记住,只有具有相同过滤模式的查询才能依赖函数索引。然后您需要创建额外的索引或其他函数索引来改进其他查询模式。

通过显式创建虚拟生成列和索引,可以在 MySQL 5.7 上实现相同的功能。

有关更多详细信息,请阅读以下页面:

https://dev.mysql.com/doc/refman/8.0/en/create-index.html#create-index-functional-key-parts

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,591评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,448评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,823评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,204评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,228评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,190评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,078评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,923评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,334评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,550评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,727评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,428评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,022评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,672评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,826评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,734评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,619评论 2 354

推荐阅读更多精彩内容