深入理解高并发超卖一系列问题与解决方案(近7万字详解,跳槽涨薪必备宝藏珍藏级分享)

破除困境带你飞

能遇上高并发的,基本都是有点规模的公司,小公司基本都是CRUD。
想去一线城市跳槽,想去有高并发的公司,但是没有高并发经验,没有高并发的经验,就去不了高并发的公司,去不了这样的公司,就没有高并发经验,前狼后虎两头堵的困境,干就完了。

一语道破

超卖问题是属于并发安全问题,在并发情况下出现数据一致性的问题的表现,据有代表性。
这是个概率问题,不是一定发生或一定不发生。
核心问题就两个:

  • 并发引起的资源竞争却没有加锁,导致运行时序不可控(MySQL超卖)。
  • 多个读写操作存在间隙,导致并发请求通过间隙插队引发的时序不可控问题(Redis超卖)。

解决方案也很简单,上锁或者保证无间隙执行就行了。

并发问题仅仅只是一种,至于并发带来的,大数据存储、检索、以及安全问题都是需要考虑进去的。

MySQL超卖原理分析

假设无并发情况下代码逻辑没问题。这个问题主要出现在获取库存数据的方式上,并发过来时,多个请求获取到的库存一致,然后都在这个一致的库存基础上扣库存,自然要出错。

MySQL的解决方案

并发存在资源争夺问题,时序是不可控的,所以要上锁,强制在短时间内让数据串行更改。

Redis超卖原理分析

Redis超卖,主要是开发者没有考虑到并发下资源争夺的间隙问题。
redis get('stock')是5,然后decr('stock'),想让库存减到4,看起来没毛病。
但是get和decr是两条语句,因此存在间隙,get('stock')是5只能代表执行的那个时刻是5,decr在执行时不能保证redis是以5的基础上自减的,可能已经被秒成0了。

Redis的解决方案

  • 笨方法:
    由于Redis是单线程的,利用Redis双向链表的特性可以完成,利用左推右拉的单向队列完成对库存的扣减。笨方法,笨就笨在要是有1000个商品,一共50000个库存,难道要存50000条数据吗。
    伪代码如下:
    实现通过缓存预热,将商品id缓存进redis队列中,例如:lPush('goods_ids' , 商品id)  
    然后抢购时:在逐个取出来,利用这些数据,做其它逻辑操作rPush('goods_ids', 商品id),知道这个动作返回false,证明库存全部扣完。
    
  • Redis+lua:
    利用Redis+Lua脚本的方式,让扣库存的动作无间隙执行,超卖问题,用redis操作string,或者hash类型都行。
    //用字符串类型操作,单商品库存
    $lua = <<<EOF
        local stock_key   = KEYS[1]                                -- Redis中存储库存数量的键名
        local input_stock = tonumber(ARGV[1])                      -- 要扣除的库存数量
        local redis_stock = tonumber(redis.call('GET', stock_key)) -- 获取当前库存数量
        if redis_stock >= input_stock then
            redis.call('DECRBY', stock_key, input_stock)           -- 如果库存充足,则扣除库存数量
            return redis_stock - input_stock                       -- 返回扣除后的库存数量
        else
            return -1                                              -- 库存不足,返回标记值,别返回0,有歧义
        end
    EOF;
    
    $redis = new Redis();
    $redis->connect('127.0.0.1', 6379);
    //stock为string名,2为要扣库存的数量
    $res = $redis->eval($lua, ['stock' , 2], 1);
    if($res == -1) {
        //库存不足
    }
    
    //库存充足,其它下游流程...
    
    用hash类型操作多商品库存
    $script = <<<EOF
        local hash_key    = KEYS[1]
        local goods_id    = KEYS[2]
        local input_stock = - tonumber(ARGV[1])
        if input_stock >= 0 then
            return -1 -- 表单验证
        end
        
        local redis_stock = tonumber(redis.call('HGET', hash_key, goods_id))
        if redis_stock == nil then
            return -2 -- 商品不存在
        end
    
        local stock_res = redis_stock + input_stock
        if stock_res < 0 then
            return -3 -- 库存不足
        end
    
        redis.call('HSET', hash_key, goods_id, stock_res)
        return stock_res
    EOF;
    //扣减商品id为50的3个库存。
    $res = $redis->eval($script, ['stock', 50, 3], 2);
    if($res == -1) {
        echo '库存数据不合法';
        return;
    }
    if($res == -2) {
        echo '商品不存在';
        return;
    }
    if($res == -3) {
        echo '库存不足';
        return;
    }
    
    echo "库存扣减成功,当前库存为:{$res}";
    

关于Redis+Lua是否是原子性执行的争议问题

https://redis.io/docs/latest/develop/interact/programmability/eval-intro/
对Redis官网进行搜索,出现了原子性的字眼。
原话是:
Blocking semantics that ensure the script's atomic execution.
Lua lets you run part of your application logic inside Redis. Such scripts can perform conditional updates across multiple keys, possibly combining several different data types atomically.

但是我想了想有矛盾的地方:
MySQL使用了undo log来保证原子性,要么成功全部执行,要么失败全部回滚。
众所周知,Redis不支持回滚的,那么ACID的A就没办法全部保证,最多是没有执行期间没有间隙,不被其它过来的请求影响,引起并发问题。

然后我又看了看阿里某架构师对此的剖析,跟我设想的一样:
Redis会把Lua脚本当做一个整体去执行,中间不会被其它的命令插入,但是如果执行过程中出现了错误,事务是不会回滚的。
也就意味着执行Lua脚本的过程不可被拆分,不可被中断,但是遇到错误不会回滚。

并发情况下MySQL与Redis缓存一致性问题详解

并发情况单个MySQL或单个Redis本身都有读写不一致的问题,更何况MySQL与Redis两个组件间通信又没有事务的约束,或者锁的加持,同样会出现一致性问题。
深入理解高并发下的MySQL与Redis缓存一致性问题(增删改查数据缓存的一致性、Canal、分布式系统CAP定理、BASE理论、强、弱一致性、顺序、线性、因果、最终一致性)

高并发带来的数据幂等性问题

库存一致性是一方面,库存保证好了,不代表,其它地方就一定不会出现库存一致性问题:
高并发下数据幂等问题的9种解决方案

高并发带来海量数据MySQL查询问题

MySQL索引底层原理相关问题自总结(难度对标18K-25K薪资,已总结80+,持续更新中)

MySQL查询优化方案汇总(索引相关)

高并发带来的亿级大数据检索问题

万字详解PHP+Sphinx中文亿级数据全文检索实战(实测亿级数据0.1秒搜索耗时)

高并发从侧面带来的安全问题

深入理解PHP+Redis实现布隆过滤器(亿级大数据处理和黑客攻防必备)

其它文章持续更新中……

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,294评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,780评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,001评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,593评论 1 289
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,687评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,679评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,667评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,426评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,872评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,180评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,346评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,019评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,658评论 3 323
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,268评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,495评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,275评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,207评论 2 352

推荐阅读更多精彩内容