MemoFS l 分布式存储如何低成本保证数据有效性

​​MemoFS 主要使用数据冗余机制让数据存储者在低成本的同时保证数据有效性。为了容忍各类存储故障,MemoFS 采用副本或者纠删码等数据冗余技术。副本技术,由于其修复惩罚低、实现简单而受到广泛关注。纠删码技术由于其低存储空间开销的特点也吸引了大量的目光。例如,谷歌文件系统、Hadoop分布式文件系统与微软的Azure存储系统等广泛采用了副本技术与纠删码技术。

通常情况下,想要数据不丢失,就需要存储多分备份,通过存储冗余数据来提高数据的容错能力。传统的商业存储系统,都支持将数据通过算法增加冗余后,分散存储于多个磁盘,用来防止单一磁盘的数据损坏与丢失。我们把它称作磁盘阵列,也就是RAID技术。一般情况下单台传统存储只能支持同一个RAID组内1到2个磁盘的损坏。介于今天磁盘的大容量,可能要花费一天到数天时间来重建的磁盘与备份,重建时间内一直没有副本保障。在使用副本技术的存储系统中,数据以固定长度的数据块存储,然后将数据块复制多份放置在不同的节点上,任意一个副本的不可用或丢失,都可使用剩余的可用副本进行修复。

纠删码技术也是为了保证数据不丢失,简单来说它把数据分割为可设置的一些数据块,额外再计算一个任意数目的校验数据块。把所有的数据块分散在不同的磁盘中,通过调节数据块和校验数据块的比例,满足想要达到的数据安全等级。当遇到故障时,系统能快速的重建这些丢失的数据块,将系统恢复成原来多副本的状态。在数据存储中,可以通过设置数据块和校验数据块的数目来满足各种弹性的容错需求。相比传统存储系统的RAID机制,纠删码技术的冗余数量完全基于你的价值取向。例如:将一个数据分成10个数据块和6个校验数据块,并分散存储于16个存储系统中。使用任意10个磁盘中的数据块,都可以快速恢复数据。这意味着任意6个磁盘都能损坏。数据存储者只需要额外付出60%的存储空间,就能获得非凡的容错能力。

MemoFS 使用的数据冗余技术相比于传统的RAID技术,大大的降低了存储成本。在容错上,比传统的RAID技术更可靠。数据存储者也可以根据自己的存储需要,有更灵活的冗余选择。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,718评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,683评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,207评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,755评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,862评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,050评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,136评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,882评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,330评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,651评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,789评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,477评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,135评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,864评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,099评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,598评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,697评论 2 351

推荐阅读更多精彩内容