Redis总结

原文章公众号地址

问题:

1.为什么使用Redis

2.使用Redis 有什么缺点

3.单线程的Redis 为什么这么快

4.Redis 的数据类型,以及每种数据类型的使用场景

5.Redis 的过期策略以及内存淘汰机制

6.Redis 和数据库双写一致性问题

7.如何应对缓存穿透和缓存雪崩问题

8.如何解决Redis 的并发竞争 Key 问题

一,为什么使用Redis

切入点性能,并发

性能:缓存中读取,使得请求能够迅速响应

性能:Redis做一个缓冲操作,让请求先访问到 Redis,不直接访问数据库

二,使用Redis 有什么缺点

四个问题:

1.缓存和数据库双写一致性问题

2.缓存雪崩问题

3.缓存击穿问题

4.缓存的并发竞争问题

三,单线程的 Redis 为什么这么快?

1.纯内存操作

2.单线程操作,避免了频繁的上下文切换

3.采用了非阻塞 I/O 多路复用机制

补充:


多路复用机制图解

四,Redis 的数据类型,以及每种数据类型的使用场景

String:set/get 操作,Value 可以是 String 也可以是数字;

              一般做一些复杂的计数功能的缓存

Hash:Value 存放的是结构化的对象,比较方便的就是操作其中的某个字段;

             做单点登录的时候,就是用这种数据结构存储用户信息,以 CookieId 作为 Key,设置 30 分钟为缓存过期时间,能很好的模拟出类似 Session 的效果

List:List 的数据结构,可以做简单的消息队列的功能;

          利用 lrange 命令,做基于 Redis 的分页功能,性能极佳,用户体验好

Set:Set 堆放的是一堆不重复值的集合。所以可以做全局去重的功能;

          为什么不用 JVM 自带的 Set 进行去重?

          1.系统一般都是集群部署,使用 JVM 自带的 Set,比较麻烦,难道为了一个做一个全局去重,再起一个公共服务,太麻烦了

          2.就是利用交集、并集、差集等操作,可以计算共同喜好,全部的喜好,自己独有的喜好等功能

Sorted Set:多了一个权重参数 Score,集合中的元素能够按 Score 进行排列;

                      做排行榜应用,取 TOP N 操作;Sorted Set 可以用来做延时任务;最后一个应用就是可以做范围查找

五,Redis 的过期策略以及内存淘汰机制

问题:

1.Redis 只能存 5G 数据,可是你写了 10G,那会删 5G 的数据,怎么删的?

2.数据已经设置了过期时间,但是时间到了,内存占用率还是比较高,原因是什么?

回答:Redis采用的是定期删除+惰性删除策略

问题:

为什么不用定时删除策略?

1.定时删除,用一个定时器来负责监视 Key,过期则自动删除。虽然内存及时释放,但是十分消耗 CPU 资源

2.在大并发请求下,CPU 要将时间应用在处理请求,而不是删除 Key,因此没有采用这一策略

定期删除+惰性删除是如何工作?

1.定期删除,Redis默认每个100ms随机检查,是否有过期的 Key,有过期 Key 则删除

2.惰性删除,获取某个 Key的时候,Redis会检查一下,这个 Key 如果设置了过期时间,那么是否过期了?如果过期了此时就会删除

采用定期删除+惰性删除就没其他问题了么?

回答:采用内存淘汰机制

在 redis.conf 中有一行配置:# maxmemory-policy volatile-lru

noeviction:当内存不足以容纳新写入数据时,新写入操作会报错。应该没人用吧。

allkeys-lru:当内存不足以容纳新写入数据时,在键空间中,移除最近最少使用的 Key。推荐使用,目前项目在用这种。

allkeys-random:当内存不足以容纳新写入数据时,在键空间中,随机移除某个 Key。应该也没人用吧,你不删最少使用 Key,去随机删。

volatile-lru:当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,移除最近最少使用的 Key。这种情况一般是把Redis 既当缓存,又做持久化存储的时候才用。不推荐。

volatile-random:当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,随机移除某个 Key。依然不推荐。

volatile-ttl:当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,有更早过期时间的 Key 优先移除。不推荐。

PS:如果没有设置 expire 的 Key,不满足先决条件(prerequisites);那么 volatile-lru,volatile-random 和 volatile-ttl 策略的行为,和 noeviction(不删除) 基本上一致。

六,Redis 和数据库双写一致性问题

分布式常见问题分布式常见问题:最终一致性,强一致性

前提:数据有强一致性要求,不能放缓存

目的:保证最终一致性

回答:首先,采取正确更新策略,先更新数据库,再删缓存。其次,因为可能存在删除缓存失败的问题,提供一个补偿措施即可,例如利用消息队列。

七,如何应对缓存穿透和缓存雪崩问题

缓存穿透:即故意去请求缓存中不存在的数据,导致所有的请求都怼到数据库上,从而数据库连接异常

缓存穿透解决方案:

利用互斥锁,缓存失效的时候,先去获得锁,得到锁了,再去请求数据库。没得到锁,则休眠一段时间重试。

采用异步更新策略,无论 Key 是否取到值,都直接返回。Value 值中维护一个缓存失效时间,缓存如果过期,异步起一个线程去读数据库,更新缓存。需要做缓存预热(项目启动前,先加载缓存)操作。

提供一个能迅速判断请求是否有效的拦截机制,比如,利用布隆过滤器,内部维护一系列合法有效的 Key。迅速判断出,请求所携带的 Key 是否合法有效。如果不合法,则直接返回。

缓存雪崩:即缓存同一时间大面积的失效,这个时候又来了一波请求,结果请求都怼到数据库上,从而导致数据库连接异常。

缓存雪崩解决方案:

给缓存的失效时间,加上一个随机值,避免集体失效。

使用互斥锁,但是该方案吞吐量明显下降了。

双缓存。我们有两个缓存,缓存 A 和缓存 B。缓存 A 的失效时间为 20 分钟,缓存 B 不设失效时间。自己做缓存预热操作。

然后细分以下几个小点:从缓存 A 读数据库,有则直接返回;A 没有数据,直接从 B 读数据,直接返回,并且异步启动一个更新线程,更新线程同时更新缓存 A 和缓存 B。

八,如何解决 Redis 的并发竞争 Key 问题

背景:Redis集群环境,做了数据分片操作

两种情形:

1.如果对这个 Key 操作,不要求顺序

方案:准备一个分布式锁,大家去抢锁,抢到锁就做 set 操作即可,比较简单

2.如果对这个 Key 操作,要求顺序

方案:需要保存一个时间戳

假设时间戳如下:


时间戳

假设这会系统 B 先抢到锁,将 key1 设置为{valueB 3:05}。接下来系统 A 抢到锁,发现自己的 valueA 的时间戳早于缓存中的时间戳,那就不做 set 操作了,以此类推

其他方法,比如利用队列,将 set 方法变成串行访问也可以。总之,灵活变通。

作者:孤独烟

转述者:万小东

出处:http://rjzheng.cnblogs.com/

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,755评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,305评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,138评论 0 355
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,791评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,794评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,631评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,362评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,264评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,724评论 1 315
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,900评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,040评论 1 350
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,742评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,364评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,944评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,060评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,247评论 3 371
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,979评论 2 355

推荐阅读更多精彩内容