innodb引擎最早由Innobase Oy公司开发,是第一个完整支持ACID事务的MySQL存储引擎,特点是行锁设计,支持MVCC,支持外键,提供一致性非锁定读,从MySQL 5.5版本开始是默认的表存储引擎。
体系架构与后台线程
innodb有多个内存块,这些内存块组成一个大的内存池,用来:
- 维护各个线程内部数据结构
- 缓存数据页,索引页,undo log
- 缓存redo log
- 其它
innodb有4个后台线程:
- Master Thread : 核心后台线程,负责脏页刷新(1.2x后另有线程完成),合并插入缓冲,UNDO页的回收(1.1版本后另有线程完成)
- IO Thread : innodb引擎有大量AIO请求,IO Thread主要负责这些IO请求的回调
- Purge Thread : innodb 1.1版本后成为单独后台线程回收已经使用并分配的undo页
- Page Cleaner Thread : 1.2x版本引入的用来刷新脏页缓存,不再在Master Thread线程中,减轻Master Thread对用户查询线程的阻塞
内存与缓存
缓冲池
缓冲池中缓存的数据页类型有:索引页,数据页,undo页,插入缓冲页,自适应哈希索引,锁信息,数据字典信息等。缓冲池外还存在着redo日志缓冲和额外内存池(innodb数据结构对象申请内存)。
从1.0.x版本后,允许多个缓冲池实例,减小资源竞争以提高并发。
innodb的缓冲池主要有三大类:LRU List, Free List, Flush List,缓存策略是基于LRU和分级缓存。
- LRU List存放Lru缓存页
- Free List是空闲页列表,供LRU List申请
- Flush List是脏页列表,用来管理脏页刷回磁盘。脏页同样存在于LRU List,但是LRU List是维护缓冲池页的可用性,与刷回磁盘分工不同
朴素的LRU算法在扫表等操作中会引发假热点数据替换热点数据的缺陷,导致缓存命中率下降。innodb在LRU列表中添加midpoint位置,位置之前定义为热点数据,位置之后定义为非热点数据。新读取到的页并不直接放到列表首部,而是放到midpoint位置(默认5/8),在这之后一定时间后(默认1s)才会被加到LRU热端。又一个重要的观察变量-Buffer pool hit rate,通常95%以上为健康,小于95%需要观察LRU是否被污染,需要调整midpoint位置和加入热端时间。
重做缓冲日志
由于缓冲池的存在,当发生异常情况(断电,宕机等),需要对已提交事务的数据做恢复,需要REDO日志。innodb首先将redo日志信息放到redo日志缓冲区,再通过一定策略刷到日志文件中,redo日志缓冲减少了对用户操作的阻塞。redo日志会在以下三种情况下刷到磁盘:
- Master Thread每一秒将redo日志刷到磁盘
- 每个事务提交时将redo日志刷到磁盘
- redo缓冲区空间小于1/2时,刷到磁盘
额外的内存池
innodb通过内存堆的方式管理内存,对一些数据结构本身的内存分配时,需要从额外内存池申请,当额外内存池不够时,会从缓冲池申请。
Checkpoint技术
checkpoint是redo上的检查点,redo日志保证checkpoint以前页已经刷回磁盘。CheckPoint技术的目的主要是解决以下几个问题:
- 缩短数据库的恢复时间
- 缓冲池不够用时,将脏页刷到磁盘
- redo日志是循环使用的,可以被重用的部分需要刷新对应的脏页,标记checkpoint
Checkpoint发生的时间,条件以及脏页的选择比较重要与复杂,在innodb存储引擎内部,有两种Checkpoint,分别为Sharp Checkpoint和Fuzzy Checkpoint,Sharp Checkpoint发生在数据库关闭时将所有的脏页刷回磁盘,其它的使用Fuzzy Checkpoint进行页的刷新,即只刷一部分脏页。可能的几种情况的Fuzzy Checkpoint:
- Master Thread Checkpoint:定时刷新脏页
- FLUSH_LRU_LIST Checkpoint:保证LRU_LIST有足够空间(100个空闲页)
- Async/Sync Flush Checkpoint:保证redo log可用(redo log是循环使用的)
- Dirty Page too much Checkpoint:脏页太多(75% google测试best value)