何为大key?
1.单个简单的key存储的value很大
- hash, set,zset,list 结构中存储过多的元素
可能出现大key的业务场景
1.配送范围特别大的门店
2.促销活动特别多的门店、商家等
3.高频用户下的订单列表
- 等 ……
大key的危害
- OPS低也会导致内存占用多、流量大,比如一次取走100K的数据,当OPS为1000时,就会产生100M/s的流量
- 如果为list,hash等数据结构,大量的elements需要多次遍历,多次系统调用拷贝数据消耗时间
- 主动删除、被动过期删除、数据迁移等,由于处理这一个KEY时间长,导致服务端发生阻塞
如何找到大key?
- jimdb管理端,拓扑Tab页,点击实例可以使用大key扫描功能,该功能底层使用scan扫描所有key,会影响实例性能,选择业务低峰进行
- redis 可使用redis-cli的“--bigkeys”选项查找大Key
如何解决大key?
- 对于需要整取value的key,可以尝试将对象分拆成几个key-value, 使用multiGet获取值,这样分拆的意义在于分拆单次操作的压力,将操作压力平摊到多个实例中,降低对单个实例的IO影响
- 对于每次需要取部分value的key,同样可以拆成几个key-value,也可以将这些存储在一个hash中,每个field代表具体属性,使用hget,hmget来获取部分value,使用hset,hmset来更新部分属性
- 对于value中存储过多元素的key,同样可以将这部分元素拆分,以hash为例,正常的流程是:
hget(hashKey, field);hset(hashKey, field, value)
。 现在可以固定一个桶数量,比如1w,每次存取的时候,先在本地计算field的hash值,对1w取模,确定field落在哪个key上,newHashKey = hashKey + ( hash(field) % 10000); hset (newHashKey, field, value) ; hget(newHashKey, field)
,set,zset,list做法类似