Redis 运维实战 第05期:RDB 持久化

前面一节,我们聊了 AOF,AOF 有个不足点就是:进行数据恢复时,需要逐一把日志都执行一遍,非常耗时间。

Redis 还有另外一种持久化方法:内存快照。指内存中的数据在某一时刻的状态记录,这个快照文件就是 RDB(Redis DataBase) 文件。

1 生成 RDB 的方式

两个命令可以生成 RDB 文件:save 和 bgsave

save:在主线程中执行,会导致阻塞,线上环境不建议使用

bgsave:创建一个子进程,专门用于写入 RDB 文件,避免了主线程的阻塞,这也是 Redis RDB 文件生成的默认配置。

bgsave 为了保证快照完整性,这期间只能处理读操作,Redis 借助操作系统提供的写时复制技术(Copy-On-Write,COW),在执行快照的同时,能正常处理写请求。

写时复制技术:

如果主线程要修改一块数据,那么,这块数据就会被复制一份,生成该数据的副本。然后 bgsave 子进程会把这个副本写入 RDB 文件,而这个过程中,主线程仍然可以直接修改原来的数据。

在测试实例上执行 bgsave


确定是否执行成功可以执行

info Persistence

这里解释一下几个跟 RDB 相关的参数

rdb_changes_since_last_save:自上次 RDB 后,Redis 数据的改动条数

rdb_bgsave_in_progress:bgsave 是否在进行中,0 否,1 是

rdb_last_save_time:上次 bgsave 的时间戳

rdb_last_bgsave_status:上次 bgsave 的状态

rdb_last_bgsave_time_sec:上次 bgsave 的持续时间

rdb_current_bgsave_time_sec:正在执行的 bgsave 耗时,如果没有正在执行的,则为 -1

rdb_last_cow_size:上次 RDB 过程中父进程与子进程相比执行了多少修改

根据 rdb_bgsave_in_progress 这一项为 0,可以判断在执行 info Persistence 命令时,bgsave 已经执行完成了。

除了通过命令的方式触发 RDB 持久化之外,Redis 内部还有自动触发 RDB 的机制。比如以下场景:

配置文件中增加了类似 “save m n” 的配置,表示 m 秒内有 n 次修改则自动触发 bgsave。

新建立 Redis 主从复制时,主节点会执行一次 bgsave 保存 RDB 文件到本地,然后发送给从节点。

执行 shutdown 时,如果没有开启 AOF 则自动执行 bgsave

2 频繁执行全量快照的影响

如果频繁执行全量快照,会带来两方面的开销:

频繁将全量数据写入磁盘,会给磁盘带来很大压力,可能出现前面的没做完,后面的又开始了。导致恶性循环。

bgsave 子进程需要通过 fork 操作从主线程创建出来,虽然,子进程在创建后不在会阻塞主线程,但是,fork这个创建过程本身会阻塞主线程,而且主线程内存越大,阻塞时间越长。

3 运维技巧

3.1 RDB 所在分区磁盘满了怎么办

当遇到 RDB 所在分区磁盘满了,可以临时修改 RDB 路径,操作如下:

config set dir //

// 表示还有空间的其他分区下的文件夹

3.2 开启 RDB 压缩

Redis 支持对 RDB 进行压缩,参数为 rdbcompression,设置为 yes 表示开启(默认开启的)。压缩不但可以节省磁盘空间,在创建主从时,也能更快的将全量备份传给从实例,因此建议开启压缩功能。

3.3 RDB 文件损坏检测

当发现 Reids RDB 文件损坏时,可以使用 redis-check-rdb 进行检测,用法如下:

根据上图,说明 RDB 文件中 ‘memtier-2367894’ 这个 key 存在问题。

3.4 单机多实例的 RDB 备份

有些情况,我们会在单台服务器上部署多个 Redis 实例,但是使用配置文件中增加 save 的方式又怕几个实例 RDB 时间冲突,从而影响落盘速度。这种情况,可以使用脚本结合定时任务触发 bgsave 进行 RDB 备份。这样,同机器不同实例的 RDB 备份时间可以自定义错开,防止 IO 跑满带来的问题。

4 备份建议

那么 Redis 究竟怎么备份更好呢?

RDB 尽管恢复会快很多,但是可靠性比 AOF 低,但是如果只使用 AOF,又会存在恢复慢的问题,因此,Redis 4.0 提出了混合使用 AOF 日志和内存快照的方法。

因此对于 Redis 的备份,建议如下:

数据不能丢失时,内存快照和 AOF 的混合使用是一个很好的选择

如果允许分钟级别的数据丢失,可以只使用 RDB

如果只用 AOF ,优先使用 everysec 的配置选项,因为其介于可靠性和性能之间。

当然,如果有从实例,也优先考虑在从实例上进行备份。


欢迎加入 Redis 交流

群内不定期邀请一些身边的 Redis 大牛

交流分享,解答工作中遇到的的问题

分享工作经验、面试技巧等!

也欢迎各位大牛投稿,内容可以是数据库、开发、运维、产品、运营等!

悦专栏 LIKECOLUMN

在这里,学好编程

做更优秀的 IT人!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,968评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,601评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,220评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,416评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,425评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,144评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,432评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,088评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,586评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,028评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,137评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,783评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,343评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,333评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,559评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,595评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,901评论 2 345