字符串存储规则
redis没有默认使用c字符串,仅在字符串字面量和使用c字符串。如果字符串为变量时,则使用SDS字符串。
SDS定义
sds.h/sdshdr结构
struct __attribute__ ((__packed__)) sdshdr8 {
uint8_t len; /* 字符串长度 */
uint8_t alloc; /* 分配内存大小(除去‘\0’) */
unsigned char flags; /* 标志位(低三位表示类型,其余五位未使用) */
char buf[]; /* 字符数组 */
};
struct __attribute__ ((__packed__)) sdshdr16 {
uint8_t len; /* 字符串长度 */
uint8_t alloc; /* 分配内存大小(除去‘\0’) */
unsigned char flags; /* 标志位(低三位表示类型,其余五位未使用) */
char buf[]; /* 字符数组 */
};
struct __attribute__ ((__packed__)) sdshdr32 {
uint8_t len; /* 字符串长度 */
uint8_t alloc; /* 分配内存大小(除去‘\0’) */
unsigned char flags; /* 标志位(低三位表示类型,其余五位未使用) */
char buf[]; /* 字符数组 */
};
struct __attribute__ ((__packed__)) sdshdr64 {
uint8_t len; /* 字符串长度 */
uint8_t alloc; /* 分配内存大小(除去‘\0’) */
unsigned char flags; /* 标志位(低三位表示类型,其余五位未使用) */
char buf[]; /* 字符数组 */
};
如上代码块注释,个人认为,Redis并未完全抛弃C语言字符串,只不过是在C语言字符串的基础上,通过封装其他的属性,构造出一个更加高效的字符串的封装结构,在早些的版本中记录了其长度(实际使用了多少)、剩余空间、以及字符数组,最新的版本3.2.4中,已经对SDS做了一定的改动记录了长度、分配内存大小(除去‘\0’)、标志位(低三位表示类型,其余五位未使用)、以及字符数组。在3.2.4版本里,redis细化了sdshdr长度值,不同长度的字符串可以选择对应位的sdshdr。
SDS与C字符串区别
- 获取字符串长度
- C字符串不记录自己的长度,当需要获取长度的时候,需要遍历整个字符数组,对遇到的所有的字符进行计数,直到遇到空字符为止,执行时间复杂度为O(N)。
- SDS字符串保存了自身的长度,当需要获取长度的时候,直接可以获取到,这样把时间复杂度降低到O(1)。设置和更新SDS长度是由SDS的API在执行时自动完成的,使用SDS无须手动修改len属性。
-
杜绝缓冲区溢出
C语言不记录字符串长度的另一个弊端就是容易造成缓冲区溢出。举个例子,拼接两个字符串:wy和xx
假设前者为s1后者为s2,那么这里在进行字符串拼接的时候,一旦没有为s1从新分配适合的空间的话,那么拼接后的结果会溢出到s2的空间中去。
SDS在进行字符串拼接的时候,会自行检查是不是内存空间是不是 满足要求,如果不满足的话,自动进行分配,而且在进行分配空间的时候,会实行预先分配的策略。
-
减少修改字符串时带来的内存重分配次数
C语言字符串在进行字符串的扩充和收缩的时候,都会面临着内存空间的重新分配问题。
- 字符串拼接会产生字符串的内存空间的扩充,在拼接的过程中,原来的字符串的大小很可能小于拼接后的字符串的大小,那么这样的话,就会导致一旦忘记申请分配空间,就会导致内存的溢出。
- 字符串在进行收缩的时候,内存空间会相应的收缩,而如果在进行字符串的切割的时候,没有对内存的空间进行一个重新分配,那么这部分多出来的空间就成为了内存泄露。
Redis在内存空间分配的问题上进行了优化,主要分为两个过程。 - 内存预分配
内存空间进行分配的时候,预先分配一块多余的空间给当前的字符串对象,使得,在下一次字符串比如拼接的时候,尽可能保证其内存空间的足够用,不需要再去分配内存,这样的话,效率将会大大的提升。
额外分配未使用空间数量:
1). 如果修改之后SDS的长度小于1MB,那么程序将会分配和当前字符串len相同的空间给该字符串对象。比如说,wy和xx进行合并,这里是4个字符,大小为4,实际的存储大小为5,但是分配的内存空间大小会采用预分配的方式,那么分配后的内存大小为4+4+1=9个字节。
2). 如果修改之后的SDS的长度大小大于等于1MB的话,程序分配的内存空间将会为1MB,比如说变化后的字符串对象达到了30M,当他在分配空间的时候只分配1MB空间。那么最终空间大小为30M+1MB+1B. - 惰性释放
当字符串进行缩短操作的时候,并不立即将空间释放出来,而是,将这部分空间通过free进行标识,本字符串有多少的空余的空间。这样的话,在再次使用时也可以避免分配内存造成的时间开销。
当然,Redis中提供了专门的API,需要的时候,会真正的释放这部分空闲的内存。
-
二进制安全
C字符串必须符合某种编码,除了字符串的末尾外,不能包含空字符,否则会被误认为是字符串的结尾,导致最终读取的字符串是不完整的。这些限制导致了字符串不能用于存放图片、音频、视频等二进制数据,只能存放文本数据。
但是在Redis中,不是靠空字符来判断字符串的结束的,而是通过len这个属性。那么,即便是中间出现了空字符对于SDS来说,读取该字符仍然是可以的。
- C字符串和SDS字符串区别总结
C字符串 | SDS字符串 |
---|---|
获取字符串长度复杂度 O(N) | 获取字符串长度复杂度 O(1) |
API是不安全的,可能造成缓冲区溢出 | API 安全,不会造成缓冲区溢出 |
修改字符串长度N次需要修改N次内存 | 修改字符串长度N次最多需要修改N次内存 |
只能保存文本数据 | 可以保存二进制数据 |
可以使用所有<string.h>库函数 | 可以使用部分<string.h>库函数 |