记数据库事务和MQ消息的两个问题

最近开发新需求,在测试环境测试和解决了两个很有意思的问题,特此记录一下。

  1. 在数据库事务中发送MQ消息(MQ消息消费和事务提交顺序不确定)
  • 问题描述

如下图所示,业务流程是在数据库读提交隔离级别下,首先插入数据,然后发送MQ消息。MQ消息中包含数据id,消费者拿到消息后根据id查数据库。

简化业务流程代码

由于MQ消息是在数据库事务中发送的,所以可能会导致MQ发送成功,消费者开始消费MQ,但是此时生产者所在的事务还未提交,所以消费者根据id查不到数据,由此产生问题。

  • 产生问题的原因
    数据库事务中的代码顺序是插入数据->发送MQ->提交事务,但是因为MQ发送后,消费者消费是异步的,所以并不能保证MQ消费和提交事务的顺序,有可能提交事务在前,这种情况就没有问题,消费者可以看到事务提交后的数据,但如果是MQ消费在前,事务提交在后,那MQ消费者是看不到未提交的事务数据的。

  • 解决方法
    最简单的方案是什么也不用做,MQ消费者消费失败的话,重新消费或者人工接入解决,当然这种方案也有问题,就是MQ发送成功,但是事务回滚...
    或者可以把MQ发送放在事务之外,确保发送MQ的时候事务已经提交,也是可以的,消费失败就重新消费呗。还是不建议把发送MQ的操作放在事务里,因为可能会加大事务执行时间,有造成大事务的风险。
    还有一种终极解决方案就是使用事务消息,在数据库事务中发送半消息,然后事务提交后,发送消息确认半事务消息,并提供事务回查接口。

  1. 消息生产者和消费消费者产生了并发修改
  • 问题描述

消息生产者连续两次修改数据,并两次发送数据改动消息到消息消费者,消息消费者收到消息后,从数据库查数据并写入缓存,最后更新数据的is_cache字段。

逻辑流程简单来说是这样的:修改data.time=t1->发送MQ通知消费者将数据写入缓存->修改data.time=t2->发送MQ通知消费者将数据写入缓存。原来的本意是将data.time=t2的最终结果更新到缓存。但是最后发现,执行完毕后,数据库中的时间总是t1而不是期望的t2。

  • 产生问题的原因

最终发现是消息消费者更新is_cache字段用的sql有问题,他并不是单独更新指定id的is_cache字段,而是先查数据库数据,然后修改is_cache字段,然后用数据库数据对象更新全部字段。和问题1一样,MQ消息消费是异步的,所以修改t1,t2的顺序和消息消费的顺便是不确定的,可能会产生这样的顺序:修改data.time=t1->发送MQ->消费MQ,加载数据库数据data.time=t1,写入缓存->修改data.time=t2->前面的消费者继续执行,写入缓存后更新is_cahce字段,并将data.time=t1更新回去,覆盖了data.time=t2的预期结果

最主要的还是因为消费者修改了本不属于自己要更新的字段data.time,由此和生产者产生了数据修改竞争,相当于多线程修改共享数据,造成了问题。

  • 解决方案
    消费者只修改更新data.is_cache字段,避免和消费者竞争修改共享字段,避免竞争。
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,859评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,772评论 2 374
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,956评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,729评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,611评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,441评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,850评论 3 388
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,485评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,770评论 1 293
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,803评论 2 314
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,598评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,434评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,856评论 3 300
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,065评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,365评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,852评论 2 343
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,065评论 2 338

推荐阅读更多精彩内容