Memcached 与Redis (4): Redis 的持久化

1. Redis 数据库

  • redisServer{ redisDb *db, int dbnum}
    • 客户端使用select num来切换使用的数据库.
  • redisClient{ resided *db}
  • redisDb{ dict *dict, dict *expires}.
    • expires 记录着key 和其过期时间.
  • 数据库通知.
    • 让客户端获取key的变化, 及命令的执行情况.
    • key-space notification. 关注某个键执行了什么命令.
    • key-event notification. 关注某个命令在什么键上被执行了.

2. RDB持久化

RDB文件是压缩过的二进制文件, 通过该文件可以还原生成文件时的数据库状态.

  • RDB文件的创建与载入.

    • 使用save/bgsave 来同步/异步地创建.
    • �自动进行载入, 且载入期间Redis 会处于阻塞状态.
    • 由于AOF文件的更新频率高于RDB,所以优先使用AOF进行还原数据库状态.
  • 自动间隔性保存.

    • redisServer{ saveparam *saveparams, dirty, lastSave}.
      • dirty 为修改计数器.
      • lastSave 记录着上次保存的时间.
        -saveparam{ time_t seconds, changes}.
      • 服务器的周期性函数serverCron每隔100毫秒运行一次, 其会检查是否有满足的保存条件.
  • RDB文件结构.

    • REDIS | db_version | databases | EOF | check_sum
    • database = SELECT | db_number | key_value_pairs.
    • EOF 为一个字节的常量, 用来标示文件正文内容的结束.
    • checksum 用于载入时验证损坏或出错.
    • value的编码.
      • �普通的字符串: Encoding | int, len | string.
      • 当长度大于20时: Redis_RDB_ENC_LZF | compressed_len | origin_len | compressed string.

3. AOF持久化

Append Only File. 保存服务器所执行的写命令来记录数据库状态.

  • 持久化的实现
    • 命令追加.
      • 在执行完写命令后, 将写命令追加到redisServer { sds aof_buf }缓存区的结尾.
    • 文件的写入与同步.
      • 服务器在结束一个事件循环前, 考虑是否将aof_buf的内容保存到AOF文件中.
  • 文件的载入与数据还原.
    • 由于Redis命令只能在客户端执行, 所以会创建一个不带网络链接的 fake client 来逐条执行命令.
  • AOF重写(BGRewriteAOF): 为了解决文件体积膨胀问题.
    • 创建新的AOF 文件来替代现有的AOF, 新文件不包含任何浪费空间的冗余命令.
    • 通过读取服务器当前的数据库状态来实现, 而并不需要对现有AOF 文件进行任何读取, 分析或写入操作.
    • 过程: 读取key 现有的value, 然后用一条命令去记录键值对, 代替之前记录该键值对的多条命令.
    • 重写是放入子进程中进行.
      • 为了解决重写过程中新增的写入命令, 设置AOF重写缓存区.

4. 事件

  • 文件事件.
    • 对TCP 操作的抽象.
    • 组成: Socket + I/O多路复用(multiplexing) 程序 + 文件事件分派器 + 事件处理器.
      • 使用I/O 多路复用来同时监听多个�TCP.
      • 文件事件分派器�使用队列实现.
      • 事件处理器用来处理命令请求,命令回复,连接应答.
  • 时间事件.
    • 分为: 定时事件和周期性事件.
      • serverCron为时间事件.
    • 组成 : id + when + timeProc.
    • 实现: 将所有时间事件放在一个无序链表中.
      • 每次执行时遍历整个链表.
    • 时间事件的实际处理通常比设定的到达时间晚一点.
  • 两者都是同步有序原子地执行的, 不会被中断.
    • 所以应当减少时间阻塞时间, 来降低造成事件饥饿的可能性.

5. 客户端

  • Redis 服务器为一对多的服务器
    • redisServer{ list *clients}.
    • 使用由I/O 多路复用实现的文件时间处理器.
    • 使用单线程的方式处理命令请求, 并与多个客户端进行通信.
  • RedisClient
    • fd. 客户端的socket描述符.
    • fake client =-1, 用于还原时的载入AOF, 和执行Lua脚本时.
    • robj *name. 默认为null,有名字使得身份更加清晰.
    • int flags. 角色和目前所处的状态.
    • sds querybuf. 输入缓存区用于保存发送的命令请求.
    • robj **argv + int argc. 命令的参数以及参数个数. argv[0]是要执行的命令,其余是命令的参数.
    • redisCommand *cmd. 命令的实现函数. 通过命令表查找出命令所对应的实现函数.
    • buf[REDIS_REPLY_CHUNK_BYTES] + bufpos. 固定的缓存区. 用于命令的回复.
    • list *reply. 可变大小缓冲区.
    • int authenticated. 是否通过了身份验证.
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351

推荐阅读更多精彩内容