Innodb内存管理

innodb引擎最早由Innobase Oy公司开发,是第一个完整支持ACID事务的MySQL存储引擎,特点是行锁设计,支持MVCC,支持外键,提供一致性非锁定读,从MySQL 5.5版本开始是默认的表存储引擎。

体系架构与后台线程

innodb有多个内存块,这些内存块组成一个大的内存池,用来:

  • 维护各个线程内部数据结构
  • 缓存数据页,索引页,undo log
  • 缓存redo log
  • 其它

innodb有4个后台线程:

  • Master Thread : 核心后台线程,负责脏页刷新(1.2x后另有线程完成),合并插入缓冲,UNDO页的回收(1.1版本后另有线程完成)
  • IO Thread : innodb引擎有大量AIO请求,IO Thread主要负责这些IO请求的回调
  • Purge Thread : innodb 1.1版本后成为单独后台线程回收已经使用并分配的undo页
  • Page Cleaner Thread : 1.2x版本引入的用来刷新脏页缓存,不再在Master Thread线程中,减轻Master Thread对用户查询线程的阻塞

内存与缓存

缓冲池

缓冲池中缓存的数据页类型有:索引页,数据页,undo页,插入缓冲页,自适应哈希索引,锁信息,数据字典信息等。缓冲池外还存在着redo日志缓冲和额外内存池(innodb数据结构对象申请内存)。

从1.0.x版本后,允许多个缓冲池实例,减小资源竞争以提高并发。

innodb的缓冲池主要有三大类:LRU List, Free List, Flush List,缓存策略是基于LRU和分级缓存。

  • LRU List存放Lru缓存页
  • Free List是空闲页列表,供LRU List申请
  • Flush List是脏页列表,用来管理脏页刷回磁盘。脏页同样存在于LRU List,但是LRU List是维护缓冲池页的可用性,与刷回磁盘分工不同

朴素的LRU算法在扫表等操作中会引发假热点数据替换热点数据的缺陷,导致缓存命中率下降。innodb在LRU列表中添加midpoint位置,位置之前定义为热点数据,位置之后定义为非热点数据。新读取到的页并不直接放到列表首部,而是放到midpoint位置(默认5/8),在这之后一定时间后(默认1s)才会被加到LRU热端。又一个重要的观察变量-Buffer pool hit rate,通常95%以上为健康,小于95%需要观察LRU是否被污染,需要调整midpoint位置和加入热端时间。

重做缓冲日志

由于缓冲池的存在,当发生异常情况(断电,宕机等),需要对已提交事务的数据做恢复,需要REDO日志。innodb首先将redo日志信息放到redo日志缓冲区,再通过一定策略刷到日志文件中,redo日志缓冲减少了对用户操作的阻塞。redo日志会在以下三种情况下刷到磁盘:

  • Master Thread每一秒将redo日志刷到磁盘
  • 每个事务提交时将redo日志刷到磁盘
  • redo缓冲区空间小于1/2时,刷到磁盘

额外的内存池

innodb通过内存堆的方式管理内存,对一些数据结构本身的内存分配时,需要从额外内存池申请,当额外内存池不够时,会从缓冲池申请。

Checkpoint技术

checkpoint是redo上的检查点,redo日志保证checkpoint以前页已经刷回磁盘。CheckPoint技术的目的主要是解决以下几个问题:

  • 缩短数据库的恢复时间
  • 缓冲池不够用时,将脏页刷到磁盘
  • redo日志是循环使用的,可以被重用的部分需要刷新对应的脏页,标记checkpoint

Checkpoint发生的时间,条件以及脏页的选择比较重要与复杂,在innodb存储引擎内部,有两种Checkpoint,分别为Sharp Checkpoint和Fuzzy Checkpoint,Sharp Checkpoint发生在数据库关闭时将所有的脏页刷回磁盘,其它的使用Fuzzy Checkpoint进行页的刷新,即只刷一部分脏页。可能的几种情况的Fuzzy Checkpoint:

  • Master Thread Checkpoint:定时刷新脏页
  • FLUSH_LRU_LIST Checkpoint:保证LRU_LIST有足够空间(100个空闲页)
  • Async/Sync Flush Checkpoint:保证redo log可用(redo log是循环使用的)
  • Dirty Page too much Checkpoint:脏页太多(75% google测试best value)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,922评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,591评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,546评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,467评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,553评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,580评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,588评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,334评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,780评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,092评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,270评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,925评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,573评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,194评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,437评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,154评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352

推荐阅读更多精彩内容