3.5、Bitmaps

BitMaps

  1. 数据结构模型

    现代计算机用二进制(位)作为信息的基础单位,1个字节等于8位,例如“big”字符串是由3个字节组成,但实际在计算机存储是将其用二进制表示,“big”分别对应的ASCII码分别是98、105、103,对应的二进制分别是01100010、01101001、01100111。

    许多开发语言都提供了操作位的功能,合理地使用为能够有效地提高内存使用率和开发效率。Redis提供了Bitmaps这个“数据结构”可以实现对为的操作。吧数据结构加上英豪主要因为:

    • Bitmaps本身不是一种数据结构,实际上它就是个字符串,但是它可以对字符串的位进行操作。

    • Bitmaps单独提供了一套命令,所以在Redis中使用Bitmaps和使用字符串的方法不太相同。可以把Bigmaps想象成一个以位为单位的数组,数组的每个单元只能存储0和1,数组的下标在Bitmaps中叫做偏移量。

  2. 命令

    本节将对每个独立用户是否访问过网站存放在Bigmaps中,将访问的用户记做1,没有访问的用户记做0,用偏移量作为用户的id。

    • 设置值

      setbit key offset value

      设置键的第offset个位的值(从0算起),假设现在有20个用户,userid=0,5,11,15,19的用户对网站进行了访问,那么当前Bitmaps初始化结果如图所示。

      2019-04-07-15-33-29.png

      具体操作过程如下,unique:user:2019-4-7代表2019-4-7这天的独立访问用户的Bitmaps:

      127.0.0.1:6379> setbit unique:users:2019-4-7 0 1
      (integer) 0
      127.0.0.1:6379> setbit unique:users:2019-4-7 5 1
      (integer) 0
      127.0.0.1:6379> setbit unique:users:2019-4-7 11 1
      (integer) 0
      127.0.0.1:6379> setbit unique:users:2019-4-7 15 1
      (integer) 0
      127.0.0.1:6379> setbit unique:users:2019-4-7 19 1
      (integer) 0
      

      如果此时有一个userid=50的用户访问了网站,那么Bitmaps的结构中的50位为1.

      很多应用的用户id以一个指定数字(例如1000)开头,直接将yoghurtid和BItmaps的偏移量对应势必造成一定的浪费,通常的做法是每次做setbit操作时将用户id减去这个指定数字。在第一次初始化Bitmaps是,加入偏移量非常大,那么整个初始化过程执行会比较大,可能会造成Redis的阻塞。

    • 获取值

      getbit key offset

      获取键的第offset位的值(从0开始算),下面操作获取id=8的用户是否在2019-4-7这天访问过,返回0说明没有访问过:

      127.0.0.1:6379> getbit unique:users:2019-4-7 8
      (integer) 0
      

      由于offset=1000000根本不存在,所以返回结果也是0:

      127.0.0.1:6379> getbit unique:users:2019-4-7 1000000
      (integer) 0
      
    • 获取Bitmaps指定范围值为1的个数

      bitcount [start] [end]

      下面操作计算2019-4-7这天的独立访问用户数量:

      127.0.0.1:6379> bitcount unique:users:2019-4-7
      (integer) 5
      

      [start]和[end]代表其实和结束字节数,下面操作计算用户id在第1字节到第3字节之间的独立访问用户数,对应的用户id是11,15,19.

      127.0.0.1:6379> bitcount unique:users:2019-4-7 1 3
      (integer) 3
      
    • Bitmaps间的运算

      bitop op destkey key [key ...]

      bitop是一个复合操作,它可以做多个Bitmaps的and(交集)、or(并集)、not(非)、xor(异或)操作并将结果保存在destkey中。假设2019-4-6访问网站的userid=1,2,5,9,2019-4-7访问网站的userid=0,1,4,9 。

      下面操作计算出两天都访问过网站的用户数量

      127.0.0.1:6379> bitop and unique:users:and:2019-4-6_7 unique:users:2019-4-6 unique:users:2019-4-7
      (integer) 2
      127.0.0.1:6379> bitcount unitque:users:and:2019-4-6_7
      (integer) 2
      
    • 计算Bitmaps中第一个值为targetBit的偏移量

      bitops key targetBit [start] [end]

      下面操作计算2019-4-7当前访问网站的最小用户id:

      127.0.0.1:6379> bitops unique:users:2019-4-7 1
      (integer) 1
      

      除此之外,bitops有两个选项[start]和[end],分别代表起始字节和结束字节,例如计算第0个字节到第1个字节之间,第一个值为0的偏移量。

      127.0.0.1:6379> bitops unique:users:2019-4-7 0 0 1
      (integer) 0
      
  3. Bitmaps分析

    假设网站有1亿用户,每天独立访问的用户有5千万,如果每天用集合类型和Bitmaps分别存储活跃用户可以得到下表:

    数据类型 每个用户id占用空间 需要存储的用户量 全部内存量
    集合类型 64位 50 000 000 64位*50 000 000=400MB
    Bitmaps 1位 100 000 000 1位*100 000 000=12.5MB

    很明显,这种情况下使用Bitmaps能节省很多的内存空间,尤其是随着时间推移节省的内存还是非常可观,如下表:

    数据类型 一天 一个月 一年
    set 400M 12G 144G
    Bitmaps 12.5M 375M 4.5G

    但Bitmaps并不是万金油,加入该网站每天的独立访问用户很少,例如只有10万(大量的僵尸用户),那么两者的对比如下表所示,很显然,这时候使用Bitmaps就不太格式,因为基本上大部分为都是0.

    数据类型 每个用户id占用空间 需要存储的用户量 全部内存量
    集合类型 64位 100 000 64位*100 000=800KB
    Bitmaps 1位 100 000 000 1位*100 000 000=12.5MB
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,591评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,448评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,823评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,204评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,228评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,190评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,078评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,923评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,334评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,550评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,727评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,428评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,022评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,672评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,826评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,734评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,619评论 2 354

推荐阅读更多精彩内容