数据结构与对象——字符串对象

字符串对象的编码可以是int、raw或embstr。

不同的编码对应的场景

1.若一个字符串对象保存的是整数值,并且这个整数值可以用long类型来表示,那么字符串对象会将整数值保存在字符串对象结构的ptr属性中(将void*改为long),并将字符串对象的编码设置为int。(对于int编码的字符串对象来说,若对对象执行了一些命令,使得这个对象保存的不再是整数值,那么字符串对象的编码将从int变为raw。例:APPEND命令)


redisObject结构


2.如果字符串对象保存的是一个字符串值,且这个字符串值的长度大于等于45字节,那么字符串对象将使用一个简单动态字符串(SDS)来保存这个字符串值,并将对象的编码设置为raw。若小于,那么字符串对象将使用embstr编码(只读)的方式保存这个字符串值。(除可用long类型保存的整数,其他都用raw/embstr


embstr

embstr是专门用于保存短字符串的一种优化编码方式。该编码和raw编码一样,使用redisObject结构和sdshdr结构来表示字符串对象,但raw编码会调用两次内存分配函数来分别创建redisObject和sdshdr,而embstr编码则通过调用一次内存分配函数来分配一块连续的空间,空间中依次包含redisObject和sdshdr两个结构。

embstr是只读的。因为对embstr编码的字符串对象执行任何修改命令时,程序会先将对象的编码从embstr转为raw,然后再执行修改命令,因此,embstr编码的字符串对象在执行修改命令后,总会变成一个raw编码的字符串对象。


raw编码分为两个结构


embstr编码的字符串对象

使用embstr编码的字符串对象来保存短字符串值的好处:

1.embstr编码将创建字符串对象所需的内存分配次数从raw编码的两次降低为一次。

2.释放embstr编码的字符串对象只需要一次内存释放函数,而raw编码需要两次。

3.因为embstr编码的字符串对象的所有数据都保存在一块连续的内存里面,所以这种编码的字符串对象比raw编码的字符串能够更好地利用缓存带来的优势



SDS(简单动态字符串)

SDS是Redis自己构建的一种抽象类型,用作Redis的默认字符串表示。

SDS除了用来保存数据库中的字符串值之外,还被用作缓冲区(buffer):AOF模块中的AOF缓冲区,以及客户端状态中的输入缓冲区。

sds定义

struct sdshdr{

//记录buf数组中已使用字节的数量,等于SDS所保存字符串的长度

int len;

//记录buf数组中未使用字节的数量

int free;

//字节数组,用于保存字符串

char buf[];

};



sds

free属性为0,说明该SDS没有分配任何未使用空间

len属性为5,说明该SDS保存了一个5字节长的字符串

buf属性是一个char类型数组,数组前五个字节分别是r e d i s ,最后一个字节保存了空字符’\0‘。保存空字符的1字节空间不计算在SDS的len属性中。为空字符分配额外的1字节空间以及添加空字符到字符串末尾的操作由SDS函数自动完成。


SDS的优点(和C字符串的区别)


1.常数复杂度获取字符串长度

与C字符串不同,因为SDS在len属性中记录了SDS本身的长度,所以获取一个SDS长度的复杂度为O(1)。

而且设置和更新SDS长度的工作是由SDS的API在执行时自动完成,使用SDS无须进行任何手动修改长度工作。

通过使用SDS而不是C字符串,Redis将获取字符串长度所需的复杂度从O(N)降低到了O(1)。

2.杜绝缓冲区溢出

当SDS API需要对SDS进行修改时,API会先检查SDS的空间是否满足修改所需的要求,如果不满足,API会自动将SDS的空间扩展至执行修改所需的大小,然后才执行实际的修改操作

3.减少修改字符串时带来的内存重分配次数

SDS通过未使用空间解除了字符串长度和底层数组长度之间的关联:在SDS中,buf数组的长度不一定就是字符数量+1,数组里可以包含未使用的字节,而这些字节的数量就由SDS的free属性记录

通过未使用空间,SDS实现了空间预分配惰性空间释放两种优化策略。

1.空间预分配

空间预分配用于优化SDS的字符串增长操作:当SDS的API对一个SDS进行修改,并且需要对SDS进行空间扩展的时候,程序不仅会为SDS分配修改所需要的空间,还会为SDS分配额外的未使用空间。

额外分配的未使用空间数量由下列公式决定:

1.1如果对SDS进行修改后,SDS的长度(len)将小于1MB,那么程序分配和len属性同样大小的未使用空间,这时SDS len属性的值将和free属性的值相同。

1.2如果对SDS进行修改后,SDS的长度(len)将大于等于1MB,那么程序会分配1MB的未使用空间。

通过空间预分配策略,Redis可以减少连续执行字符串增长操作所需的内存重分配次数。

在扩展SDS空间之前,SDS API会先检查未使用空间是否足够,如果足够,API直接使用未使用空间,无须执行内存重分配。通过预分配策略,SDS将连续增长N次字符串所需的内存重分配次数从必定N次降低为最多N次。



2.惰性空间释放

惰性空间释放用于优化SDS的字符串缩短操作:当SDS的API需要缩短SDS保存的字符串时,程序并不立即使用内存重分配来回收缩短后多出来的字节,而是使用free属性将这些字节的数量记录下来,等待以后使用。即将需要缩短的部分字节加在free属性中。便于之后使用。

通过惰性空间释放策略,SDS避免了缩短字符串时所需的内存重分配操作,并为将来可能有的增长操作提供优化。与此同时,SDS提供了相应的API,这样可以在有需要的时候,真正释放SDS的未使用空间,无需担心惰性空间释放策略会造成内存浪费。



4.二进制安全

SDS的buf属性称为字节数组——Redis使用buf数组保存一系列二进制数据

使用二进制安全的SDS,不仅可以保存文本数据,还可以保存任意格式的二进制数据。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,324评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,356评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,328评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,147评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,160评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,115评论 1 296
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,025评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,867评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,307评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,528评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,688评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,409评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,001评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,657评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,811评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,685评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,573评论 2 353

推荐阅读更多精彩内容

  • Redis使用的是自己构建的简单动态字符串(simple dynamic string,SDS)的抽象类型, 并将...
    但莫阅读 510评论 0 0
  • 引入 Redis对外提供了5种类型:字符串、列表、集合、有序集合以及哈希表,但底层实现并不是固定的,以上五种数据结...
    宇宙最强架构师阅读 657评论 0 3
  • Redis的内存优化 声明:本文内容来自《Redis开发与运维》一书第八章,如转载请声明。 Redis所有的数据都...
    meng_philip123阅读 18,888评论 2 29
  • 孩子上早自习后,我先是炖了一锅牛肉,切好辅材,然后用keep练了20分钟,去做早饭,在做早饭和吃早饭的时...
    潘多拉简书阅读 274评论 0 0
  • 普通版本的Two Sum 用一个HashMap, 然后iterate array一次就可以了。但是找K pair ...
    98Future阅读 294评论 0 0