Redis原理及实践之Scan

3. scan vs keys

keys扫描key的复杂度为O(N)，同样scan的复杂度也为O(n)
scan提供limit参数，可以控制每次返回结果的最大条数
scan同样提供pattern匹配的功能
服务器不需要为游标保存状态，游标的唯一状态就是 scan 返回给客户端的游标整数;
返回的结果可能会有重复，需要客户端去重复，这点非常重要;
遍历的过程中如果有数据修改，改动后的数据能不能遍历到是不确定的;
单次返回的结果是空的并不意味着遍历结束，而要看返回的游标值是否为零;
scan命令使用示例

// 第一个参数指定游标，第二个参数指定匹配模式，第三个参数指定返回数据的条数
// 注意: count参数是限定服务器单次遍历的字典槽位数量，而不是限制返回key的数量
127.0.0.1:6379> scan 0 match key99* count 1000
1) "13976"
2)  1) "key9911"
    2) "key9974"
    3) "key9994"
    4) "key9910"
    5) "key9907"
    6) "key9989"
    7) "key9971"
    8) "key99"
    9) "key9966"
   10) "key992"
   11) "key9903"
   12) "key9905"
127.0.0.1:6379> scan 13976 match key99* count 1000
1) "1996"
2)  1) "key9982"
    2) "key9997"
    3) "key9963"
    4) "key996"
    5) "key9912"
    6) "key9999"
    7) "key9921"
    8) "key994"
    9) "key9956"
   10) "key9919"
127.0.0.1:6379> scan 1996 match key99* count 1000
1) "12594"
2) 1) "key9939"
   2) "key9941"
   3) "key9967"
   4) "key9938"
   5) "key9906"
   6) "key999"
   7) "key9909"
   8) "key9933"
   9) "key9992"
......
127.0.0.1:6379> scan 11687 match key99* count 1000
1) "0"
2)  1) "key9969"
    2) "key998"
    3) "key9986"
    4) "key9968"
    5) "key9965"
    6) "key9990"
    7) "key9915"
    8) "key9928"
    9) "key9908"
   10) "key9929"
   11) "key9944"...

关于scan命令为什么采用高位进位的方式进行遍历，可以参考: https://juejin.im/book/5afc2e5f6fb9a07a9b362527/section/5b3d97d9e51d4519634f8512，其主要目的是为了防止Hash扩容/缩容对key遍历造成影响。其实就是当前Hash空间遍历的一个槽位相当于扩容后Hash空间的两个槽位；当前Hash空间的两个槽位相当于缩容后Hash空间的一个槽位。采用高位进位加法的遍历方式在扩容/缩容后Hash空间的遍历顺序是相邻的。
渐进式rehash && scan
在rehash过程中，redis会同时保留旧数组和新数组，然后在定时任务中以及后续对 hash 的指令操作中渐渐地将旧数组中挂接的元素迁移到新数组上。这意味着要操作处于 rehash 中的字典，需要同时访问新旧两个数组结构。如果在旧数组下面找不到元素，还需要去新数组下面去寻找。scan 也需要考虑这个问题，对与 rehash 中的字典，它需要同时扫描新旧槽位，然后将结果融合后返回给客户端。

redis 大key 定位

scan扫描过程中定位大key
redis自带的大key扫描命令

// 不带sleep的大key扫描
redis-cli -h 127.0.0.1 -p 7001 –-bigkeys
// 带sleep的大key扫描, 每隔100条scan指令休眠0.1s
redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

最后编辑于：2018.08.31 16:50:11