基本架构示意图
- Server层
Server层包括连接器、查询缓存、分析器、优化器、执行器等,涵盖MySQL的大多数核心服务功能,以及所有的内置函数(如日期、时间、数学和加密函数等),所有的跨存储引擎的功能都在这一层实现,比如存储过程、触发器、视图等。 - 存储引擎层
存储引擎层负责数据的存储和提取,其架构模式是插件式的,支持InnoDB、MyISAM、Memory等多个存储引擎。服务层通过API与存储引擎进行通信。这些接口屏蔽了不通存储引擎之间的差异,使得这些差异对上层的查询过程透明。存储引擎API包含几十个底层函数,用于执行诸如“开始一个事务”或者“根据主键提取一行记录”等操作。
存储引擎不会去解析SQL,但是InnoDB是一个例外,它会解析外键定义,因为MySQL服务器本身没有实现该功能。
连接器
连接器负责和客户端建立连接、获取权限、维持和管理连接。如果用户名密码认证通过,连接器会到权限表里面查出你拥有的权限。之后,这个连接里面的权限判断逻辑,都将依赖于此时读到的权限。也就是一个用户连接成功后,即使管理员对这个用户的权限做了修改,也不会影响已经存在的连接的权限。修改完成后,只有再新建的连接才会使用新的权限设置。
mysql -h 127.0.0.1 -P 3306 -D study -u root -p
连接完成后,如果没有后续的动作,这个连接就处于空闲状态。客户端如果长时间没有动静,连接器就会自动将它断开,这个时间是由参数 wait_timeout控制的,默认值是8小时。
长连接与短连接问题
问题:建立连接的过程比较复杂,所以要尽量减少建立连接的动作,也就是尽量使用长连接。但是全部使用长连接后,MySQL 占用的内存涨得特别快,这是因为 MySQL 在执行过程中临时使用的内存是管理在连接对象里面的。这些资源会在连接断开的时候才释放,所以长连接累积下来,可能导致内存占用太大,出现 OOM 错误,从现象看就是 MySQL 异常重启了。
解决方案:
- 定期断开长连接,使用一段时间,或者程序里面判断执行过一个占用内存的大查询后,断开连接,之后要查询再重连。
- 如果使用 MySQL 5.7或更新的版本,可以在每次执行一个比较大的操作后,通过执行 mysql_reset_connection 来重新初始化连接资源。这个过程不需要重连和重新做权限验证,但是会将连接恢复到刚刚创建完时的状态。
查询缓存
连接建立完成后,就可以执行 sql 语句了,执行逻辑会来到第二步:查询缓存。
MySQL拿到查询请求后,会先到查询缓存中看看是否之前执行过这条语句。之前执行过的语句及其结果可能会议 key-value 对的形式,被直接缓存在内存中。key 是查询的语句,value 是查询的结果。
如果语句不在查询缓存中,就会继续执行后面的执行阶段,执行完成后,执行结果会被存入查询缓存中。
缓存的效率很高,但是大多数情况下不建议使用查询缓存
查询缓存的失效非常频繁,只要有对一个表的更新,这个表上所有的查询缓存都会被清空。所以对于更新压力大的数据库来说,查询缓存的命中率会非常低。
select SQL_CACHE * from Student where id = 01;
分析器
- 词法分析:对多个字符串和空格组成的一条SQL语句进行分析,识别出关键字、表名、列名等
- 语法分析:根据词法分析的结果,语法分析器会根据语法规则,判断输入的SQL是否满足 MySQL 语法
优化器
- 表里面有多个索引的时候,决定使用哪个索引
- 语句有多表关联 (join) 的时候,决定表的连接顺序
select * from t1 join t2 using(ID) where t1.c=10 and t2.d=20;
上面这条语句,既可以先从 t1 中取出 c=10 的记录的 ID 值关联到表 t2 ,再判断 t2 里面的 d 的值是否等于 20;也可以先从表 t2 里面取出 d=20 的记录的ID值,再根据 ID 值关联到 t1 ,再判断 t1 里面 c 的值是否等于10。
这两种执行方法的逻辑结果是一样的,但是执行的效率会有不同,而优化器的作用就是决定使用哪一个方案。
执行器
- 权限验证,判断用户是否对于表有相应的操作权限。如果查询缓存命中了,也会在返回结果之前做权限验证
- 权限验证通过后,执行器会根据表的引擎定义,去使用这个引擎提供的接口
select * from T where ID = 1;
这条 sql 语句在执行器中会依次遍历获取所有行,判断 ID 是否为1,如果满足条件则将这行存在结果集中,不满足则跳过;对于有索引的表,执行逻辑也差不多,只是不需要遍历所有行,而是满足条件的所有行。
小结
对于 MySQL 逻辑架构的学习,了解 MySQL server 层和存储引擎层各自的作用,结合一条查询语句对整个流程进行学习。
思考
问题:如果表 T 中没有字段 k,而在执行语句 select * from T where k = 1; 则肯定会报错,这个报错在哪个阶段报出来呢?