主从复制

  1. mysql事务提交过程

两段式提交

image.png

事务的提交主要分为两个主要步骤:

1.准备阶段(Prepare)

此时SQL已经成功执行,并生成xid信息及redo和undo的内存日志。然后调用prepare方法完成第一阶段,papare方法实际上什么也没做,将事务状态设为TRX_PREPARED,并将redo log刷磁盘。

2.提交阶段(Storage Engine(InnoDB)Commit Phase)

1.记录Binlog日志。

如果事务涉及的所有存储引擎的prepare都执行成功,则调用 TC_LOG_BINLOG::log_xid方法将SQL语句写到binlog。

(write()将binary log内存日志数据写入文件系统缓存,fsync()将binary log文件系 统缓存日志数据永久写入磁盘)。

此时,事务已经铁定要提交了。否则,调用ha_rollback_trans方法回滚事务,而SQL 语句实际上也不会写到binlog。

2.告诉引擎做commit。

最后,调用引擎的commit完成事务的提交。会清除undo信息,刷redo日志,将 事务设为TRX_NOT_STARTED状态。

上面是mysql的XA提交方案,但是存在不足,就是事务并发提交的话会变成串行执行fsync刷盘,大大降低了事务提交的并发度。

主从复制延迟问题:
MySQL最早的主备复制只有两个线程,IO 线程负责从主库接收 binlog 日志,并保存在本地的 relaylog 中,SQL线程负责解析和重放 relaylog 中的 event。当主库并行写入压力较大时,备库 IO 线程一般不会产生延迟,因为写 relaylog 是顺序写,但是 SQL 线程重放的速度经常跟不上主库写入的速度,会造成主备延迟。如果延迟过大,relaylog 一直在备库堆积,还可能把磁盘占满。

为了缓解这种问题,很自然的想法是提高 SQL 线程重放的并行度,引入并行复制。

  1. mysql5.6的Schema级别的并行复制

由此引申出了mysql5.6的Schema级别的并行复制。

场景:对于多个DB同时更新才能有比较高的并发度,但是更常见的情况是更新一个DB。

可以将Schema级别改为Table级别,可以大大提高单库多表的并行度,但是对于只有一个热点表的情况依然处理不了。

  1. Mysql5.7 Group Commit(组提交)并行复制

MySQL 5.7并行复制的思想简单易懂,一言以蔽之:一个组提交的事务都是可以并行回放,因为这些事务都已进入到事务的prepare阶段,则说明事务之间没有任何冲突(否则就不可能提交)。

变量:slave_parallel_type

可选值:DATABASE、(数据库级别的并行复制)

LOGICAL_CLOCK(基于Group Commit级别的并行复制)

如果binLog中last_commited 相同的事务,可以在备库并行回放。

但是也有弊端,就是如果主库的并行度本身就比较低,那么备库回放也会很慢。为此5.7引进了两个参数:

binlog_group_commit_sync_delay:

Binlog提交后等待一段时间再进行fsync,让每个group的事务更多,提高并行度

binlog_group_commit_sync_no_delay_count:

等待提交的最大事务数,如果事务数达到了但是等待时间还没到那就立即fsync。尽量缩小等待时间。

4.Mysql8.0基于WriteSet的并行复制

MySQL 8.0中引入了一种新的机制来判断事务能否并行回放,通过检测事务在运行过程中是否存在写冲突来决定从机上的回放顺序,这使得从机上的并发程度不再依赖于主机。

参数:binlog_transaction_dependency_tracking

可选值:COMMIT_ORDERE:使用 5.7 Group commit 的方式决定事务依赖

WRITESET:使用 WriteSet 的方式决定判定事务直接的冲突,发现冲突则依赖冲突 事务,否则按照 COMMIT_ORDERE 方式决定依赖

WRITESET_SESSION:在 WRITESET 方式的基础上,保证同一个 session 内的事务不 可并行

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,402评论 6 499
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,377评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,483评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,165评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,176评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,146评论 1 297
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,032评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,896评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,311评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,536评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,696评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,413评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,008评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,659评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,815评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,698评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,592评论 2 353

推荐阅读更多精彩内容