降低Redis内存使用和提升性能的一些方案

前言

一、前言

Redis在现在开发中已经成为了一个不可或缺的组件,很多项目都会依赖Redis进行开发,当数据量和请求量以及Redis本身访问率不高的情况下,Redis不会成为性能瓶颈,但是如果本身处于高并发海量数据这些情况下,即便是Redis,也会成为性能瓶颈中的一环,本文就是基于Redis已经成为我项目中的一个性能瓶颈之后,深入研究后产生的,另外本文主要是针对开发过程中如何降低Redis内存使用率以及整体提升代码性能,不涉及到Redis集群搭建相关性能调优

二、降低内存占用

a)减少key长度

首先key本身也是存在redis内存中的,每条数据增加2个字节的长度,成百上千万数据加起来,就占用了不少的内存了,所以需要尽可能的缩减key的长度,能保证key唯一性就好,没有必要把一些前缀设置很长或者使用英文全称

b)合理的缓存有效期

让缓存在不被使用时尽快过期,避免占用内存,如果有大量缓存在业务中不会被使用,或者缓存从生效到不被使用只有1小时,但是缓存有效期却设置的1天,那么就会导致大量无用缓存占用大量内存,所以一定要合理评估每一个缓存的生命周期。当内存资源明显紧张超过CPU等资源时,可以采取主动删除明确不使用的缓存,或者针对热点周期进行缓存生命周期配置,并配置好合理的恢复缓存机制

示例:

1.主动删除缓存

假如有以下场景:某商城,下单订单时需要先预览订单,并且生成订单逻辑复杂,且订单量大,所以预览订单时会先生成订单缓存,创建订单后,因为某些业务还需要快速访问订单,如发起支付时获取金额信息以及验证等,并且支付有效期有1天,也就是如果没有支付,一天内发起支付的可能性较大,需要快速获取相关信息。 如果用固定有效期1天的话,那么其实在订单支付之后,访问订单详情概率变很低,也就是说一旦订单支付完成,订单详情基本上不访问,那么就可以采取主动删除缓存的方式。首先创建缓存的时候,设置缓存有效期是1天,同时订单真正创建时候时候,更新缓存为1天(支付有效期1天),在订单被支付之后,则主动删除缓存(如果还有跳转页面并且需要通过缓存获取订单详情的,则设置一个接口完全可以获取到时间)。这样如果订单没有支付,那么一天内还是可以快速访问到这个订单的缓存信息,如果被支付,因为基本上不访问了,缓存也能尽快过期避免占用内存

2.热点周期模式

假设还是上面商城,场景稍作变换,订单支付完成之后,其实很多人会很习惯的关注订单进度(会查看订单详情),但是有些人其实不关心,买完就不管,而查看的正常来说每天会关注几次,知道收货之后,那我们可以模拟TTI的方式(Redis本质上是没有TTI的),在我们每次通过Redis获取到缓存之后,重新设置缓存有效期为1天,这样可以让热点数据一直处于相对有效,当没有获取到数据时,就从数据库等其他地方查询并缓存

c)合理的结构

存放在Redis的数据结构尽可能缩减,避免无用字段进入缓存,比如常见的直接用数据库对应实体类对象直接存放到Redis,导致很多无用字段也进行了缓存,如一些乐观锁、创建时间等字段,精简缓存到满足业务需求即可。尽可能保证每个字段都是业务能用上的

d)合理的序列化

业务中常见的是把对象缓存到Redis中,而缓存对象,就会涉及到序列化,常见的序列化方式有json、默认序列化、kryo等,选择合适的序列化不仅能提升程序运行速度,还能降低内存占用,当然不同的结构也会影响不同的序列化对于内存占用的影响比例,所以具体选择那种序列化也需要根据自己实际情况做选择,但是通常情况下,加入对象中有10个字段,那么大概率内存占用是Java默认序列化 > json > kryo,但是不同的序列化也会产生很多其他问题,比如可读性和通用性,如果这个Redis缓存并不只是一种语言的程序会访问,那么就要考虑采用多种语言都能序列化的方式了

e)数据压缩

很多缓存数据可能本身只是一个字符串,或者因为通用性问题最终选择了json格式的序列化,那么也可以通过压缩来降低内存占用,但是目前redis本身是不支持压缩的,所以只能是在客户端进行压缩和解压操作,但是压缩和解压会带来额外的CPU消耗

三、提升性能

a)选择合适的客户端

常见的有Jedis、Lettuce(现在Spring的默认客户端)、Redisson,每个客户端都有自己的优劣,可以根据实际情况进行选择

b)合适的序列化

不同序列化方式也是有差异的,虽然差异很小,但是如果是海量操作,哪怕很小的差异,也是能提升不小的时间成本的,但是序列化也会影响内存占用,并且如果访问量很大的情况下,通常缓存的key也不会小,所以要在内存和性能中做平衡,但是相对来说,序列化本身是在客户端实现的,而客户端的CPU资源相对来说更容易扩展,所以大部分情况下序列化还是考虑内存占用为主

c)合理的压缩和缩减数据

首选Redis是以服务形式存在的,并且正常来说Redis是会有专门的服务器,所以如果访问量很大,并且数据本身也不少的话,网络IO也会成为性能瓶颈的一环,所以如果保存的内容越小,传输也会更快,更不容易造成网络阻塞

d)批量操作

批量操作包括批量保存和批量获取以及一些其他条件性的保存等,如果业务可以通过批量操作的方式来实现,尽可能使用批量操作,首先批量保存和获取是常用客户端已经支持的操作,同时如果是一些原子性的操作或者有条件判断的,可以利用lua脚本来实现,目前常用的客户端也是支持lua脚本的操作的,比如常见的判断某个key1是否存在,如果存在则保存key2的数据,如果不存在则删除key1的数据这些都可以通过lua脚本实现,这样不仅降低了网络占用,同时还能保证当前不会有并发问题,比如判断key1的时候,key1的确不存在,但是当你写入key2的时候,key1却存在了,但是使用lua脚本就不会有这种问题

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 193,812评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,626评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,144评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,052评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,925评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,035评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,461评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,150评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,413评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,501评论 2 307
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,277评论 1 325
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,159评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,528评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,868评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,143评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,407评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,615评论 2 335

推荐阅读更多精彩内容