如何优雅地恢复运行中的容器应用

本文来自Rancher Labs

作者简介

鞠宏超,Rancher研发工程师。4年云计算领域经验,2018年加入Rancher Labs,先后参与了Longhorn产品研发,Rancher2.x产品研发,目前主要致力于Rancher企业版产品的设计与研发工作。

Longhorn是基于Kubernetes的轻量级分布式块存储系统,它完全开源,并且已经捐献给CNCF。随着云原生应用的普及,越来越多的服务提供容器运行时,数据的持久化存储问题渐渐显现出来,我们要做的不仅仅是数据的持久化,还要考虑备份的准确性,迁移的复杂性等。

Longhorn提供的分布式块存储可以在Kubernetes中直接使用持久化存储,它可以为数据卷在不同主机提供多副本服务,以保证数据的可靠性,它提供简洁的UI可以直接管理存储节点、数据卷,轻松实现数据卷的备份/定时备份,您还可以使用容灾备份功能,在不同集群创建容灾备份卷,并在发生紧急情况时及时进行故障转移。

在这篇文章中,我们将把MySQL作为Pod部署到集群A中,并使用Longhorn作为持久化存储卷,然后依托Rancher多集群管理的特性,结合Longhorn的容灾备份功能,演示一下如何优雅地将集群A中的MySQL应用及数据迁移到集群B中。

image

环境准备

  • Rancher (HA部署) - v2.4.8

  • Longhorn(通过Rancher UI Catalog部署) - v1.0.2

  • MySQL - 8

  • 私有S3 - minio部署

  • 业务集群A、B

部署longhorn

在Rancher中,进入集群A的system项目,在应用商店中可以一键启动Longhorn。

image
image

等待应用商店部署成功后,可以根据应用商店链接进入到Longhorn UI。

image
image

接下来,我们在集群B中以同样方式启动Longhorn,等待Longhorn正常运行。

创建s3访问的secret(用于longhorn备份使用)

访问Rancher,进入集群A的system项目,选择 资源 > 密文 菜单,在longhorn-system 命名空间中创建访问s3的secret,需要增加的参数包括:

image

访问Rancher,进入集群B的system项目,选择 资源 > 密文 菜单,在longhorn-system 命名空间中创建与上面相同的secret内容。

image

配置longhorn backup target

接下来我们需要在A和B两个集群的Longhorn中配置相同的backup target。

从应用商店的链接跳转到longhorn UI,点击 Setting > General 菜单,找到Backup分类,配置备份目标。

image

目前Longhorn支持NFS/S3两种备份方式,在本例中,我们使用minio搭建了一个私有S3服务,这里我们使用s3方式配置。

PS: 如果使用NFS,则需要保证NFS server支持NFSv4

image

部署MySQL应用

在集群A中部署一个MySQL应用,并在MySQL中创建测试表article并插入一条数据。

image

在集群A的Longhorn中对这个卷进行备份。

image

备份成功后,可以在集群B的Longhorn中看到备份信息(因为两个集群的Longhorn配置了相同的backup target,所以备份信息是共享的)。

image

创建容灾备份卷

访问集群B的Longhorn UI,使用集群A的Volume的备份,在集群B中创建一个容灾备份卷。

image
image

这里Volume的名称会根据备份卷自动填充,不建议手动修改

保存后,访问 Volume 页面可以看到我们新创建的容灾备份卷。

image

在集群A的MySQL应用中再次插入几条数据。

image

访问集群A的Longhorn UI,对这个卷再次进行备份。这时可以看到集群B中的容灾备份卷图标变成了灰色,代表这个卷正在同步集群A中Volume的最新备份数据,此时无法激活和使用容灾备份卷。

image

等待一会,图标变成了蓝色,代表已经与集群A中Volume的最新备份同步成功。接下来我们就可以使用这个卷了。

image

如果在集群A中对MySQL卷设置了自动备份,集群B中的Longhorn会定时轮询最新的备份,将增量数据信息自动同步到容灾备份卷,以保持与集群A中Volume的数据一致。

在新集群中恢复mysql应用

假设此时我们的集群A已经无法使用了,我们可以在集群B使用最新的备份卷快速恢复MySQL应用。

首先,我们将集群B的容灾备份卷激活。

image

等待卷状态变成Detached以后,选择创建PV/PVC。

image

这里不建议修改PV和PVC的名称,namespace可根据实际集群B中的namespace名称进行填写。保存会,会在集群B的指定namespace中创建PVC。

image

访问Rancher可以看到PVC已经创建成功。

image

使用恢复的PVC创建MySQL应用,再查询一下数据,可以看到数据也恢复过来啦!大功告成!

image

总 结

随着云原生应用的普及,越来越多的服务可以依托Kubernetes运行,保证服务的稳定性和可靠性也渐渐成为难题,依托Longhorn的跨集群容灾备份功能,在Rancher中可以自动完成应用的编排、数据迁移,随时优雅的切换业务应用运行环境。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,723评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,485评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,998评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,323评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,355评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,079评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,389评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,019评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,519评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,971评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,100评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,738评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,293评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,289评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,517评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,547评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,834评论 2 345

推荐阅读更多精彩内容