阿里项目的高可用Mongodb集群部署

数据副本

MongoDB中的一组副本是一群mongod进程,这些进程维护同样的数据集。副本集提供了冗余和高可用性,是生产环境部署的基础。

数据冗余和可用性

通过在不同的服务器上存储相同的数据,副本机制保证了一定程度的容错,即在一个数据库挂掉后,数据服务仍然可用。

在某些情况下,副本可以提升数据的读性能,因为用户可以从不同的数据库读取数据。在不同的数据中心维护数据的拷贝,能够提高分布式应用程序的可用性。也可以维护额外的副本用于其他的目的,比如灾难恢复,告警或者是备份。

Mongo中的副本

一个Mongo副本集包括几个数据轴承节点和一个可选的仲裁者。在这些节点中,有且只有一个主节点,其他的节点都被认为是辅助节点。

主节点接收所有的写操作。一套副本中,只有主节点能够确认

{ w: "majority"}

;虽然在一些情况下,另外的mongod进程会在短时间内认为自己是主节点。主节点将所有数据的变动记录在日志中,比如oplog

.

从节点复制主节点的oplog,然后根据日志重放数据集的变动,通过这样的方式达到和主节点的数据一致。如果主节点挂掉,一个合格的从节点将发起一次选举将自己选举为新的主节点。

可以在副本集中添加一个额外的mongod实例作为仲裁者。仲裁者不维护数据集,它的主要功能是维护节点间的心跳和响应其他副本集成员的请求。因为仲裁者不维护数据,因此和一个完整节点相比,占用的资源会更少。如果副本集中节点数量是偶数,添加一个仲裁者可以在主节点的选举中添加多数选票的能力。

仲裁者的角色不会变,主节点有可能会降级成从节点,从节点也可能升级为主节点。

异步复制

从节点异步从主节点应用操作。在从主节点同步数据后,即使有部分节点挂掉,副本集依然可以保持工作。

自动故障转移

当一个主节点和副本集中的其他节点有超过10秒中的连接断开时,一个合格的从节点将发起选举,将自己提升为主节点。第一个发起选举并且得到副本集中大多数选票的节点会成为主节点。

故障转移过程通常在一分钟内完成。副本集中的其他节点可能需要10到30秒来让确认主节点不可访问。在确认后将发起选举。选举的过程可能需要10到30秒。

读操作

默认情况下,用户会从主节点中读取数据,不过用户也可以通过设置发送读请求到从节点。异步制意味着从节点中的数据可能和主节点并不一致。

数据分片

数据分片是将数据分散存储在多个机器上。MongoDB使用分片技术来支持部署非常大的数据集,并提高系统的吞吐量。

单服务器会面临大量数据和高吞吐量的应用程序的挑战。比如,高频率的查询会耗尽服务器的CPU资源;大于系统内存的工作数据集会对磁盘的I/O造成很大压力。

有两种方式来应对系统数据的增长:垂直扩展和水平扩展。

垂直扩展包括增加单个服务器的能力,比如使用更强的CPU,添加更多内存,或者增加存储空间。现有技术的局限可能让单台机器无法应对某个给定的工作负载。另外,云服务商能够提供的硬件配置也有一定的上限。因此在实践中,垂直扩展能够应对的负载有上限。

水平扩展包括数据集的划分,和多台服务器分摊负载,水平扩展可以通过添加新的机器来提升处理能力。虽然单机的能力可能不是很强,但是每台机器都负责处理整体负载的一个子集,因此有能力提供比高速大容量服务器更高的效率。水平扩展提升系统的处理能力只需要添加新的服务器,这比提升高端服务器性能所需的成本要低。缺点是增加了基础设施部署和维护的复杂度。

MongoDB通过分片技术支持系统的水平扩展。

分片集群

MongoDB的分片集群中有以下组件:

shard:每个shard都包含数据分片的一个子集。每个shard都可以部署为一个副本集

mongos:mongos作为查询路由,提供客户端应用程序和分片集群之间的接口

config servers:config servers存储集群中的元数据和配置数据。在Mongo3.4中,config server必须被部署为副本集。

下图展示了各个组件之间的交互。

Shard Keys

MongoDB使用shard key对collection的数据分片。shard key由一个不可变的字段或目标collection中每个文档都存在的字段组成。

需要在对collection分片的时候选择shard key。shard key之后不能更改。一个分片的collection只能有一个shard key。

要对一个非空collection分片,collection必须有一个由shard key开始的索引。对于空的collection,如果没有一个合适索引,MongoDB会创建索引。

shard key的选择会影响集群的性能,效率和可扩展性。shard key可能会成为集群的瓶颈,即使集群中的机器性能都很高。

chunks

MongoDB将数据分片到chunk中。依据选择的shard key,每个chunk大小都有下限和上限。

在集群中,MongoDB使用分片集群均衡器迁移各个chunk。均衡器试图实现在集群中chunk的均衡。

分片的优点

如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring,MyBatis,Netty源码分析的朋友可以加我的Java进阶群:582505643,群里有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给大家

读/写

MongoDB在分片集群中,将读和写的负载分配到各个节点中,允许每个shard处理集群操作的一个子集。可以通过添加更多的shard横向扩展这种读写能力。

对于包括shard key的查询,mongos可以将查询定位到特定的shard。

存储性能

分片技术将数据分配到集群中的节点上,每个shard包含总数据集合的一个子集。随着数据集的增长,添加shard能够增加集群的存储容量。

高可用

即使在部分shard不可用的情况下,集群依然可以继续执行部分读/写操作。在挂掉的shard不可用期间,可用的shard的读写不受影响。

在生产环境中,shard应该部署为副本集,以提供数据冗余和可用性。

分片注意事项

在集群上实施分片需要仔细地规划,执行和维护。

仔细选择shard key,对于确保集群的性能和效率是必要的。在分片后不能改变shard key,也不能撤销分片。

分片有一定的操作要求和限制。

如果查询不包括shard key,mongos会广播操作,在集群中的shard中执行查询。这样的查询可能有较长耗时。

分片和非分片collection

一个数据库可能同时有分片的collection和非分片的collection。分片的collection是分区的,分布在集群的不同shard中。非分片的collection存储在主shard中。每个数据库都有自己的主shard。

分片集群的连接

必须连接到mongos路由,来与分片集群中的collection交互。这种交互包括分片collection和非分片collection。客户端不允许直接连接到单独的shard来进行读写操作。

分片策略

MongoDB支持两种分片策略。

哈希分片

哈希分片是对shard key的值进行哈希运算后进行分片。每个chunk基于哈希后的值进行分配。

一个范围内的shard key可能很接近,但是hash后的结果很可能不在同一个chunk中。基于哈希的数据分布会形成更加均衡的数据分布,特别是在shard key单调变化的情况下。

但是,哈希分布意味着对范围查询不太可能定位到单个shard,这会导致广播操作。

范围分片

范围分片是将数据基于shard key的值进行切分。每个chunk基于shard key的值进行分配。

shard key某个范围内的值更可能分配在相同的chunk中,mongos会将请求导向只含有请求数据的shard中。

范围分片的效率取决于shard key。欠考虑的shard key会导致数据的分布不均,这会减少数据分片的优势或者导致性能瓶颈。

分片集群的区域

在分片集群中,可以基于shard key创建数据区域。可以把集群中的多个shard在同个区域中关联起来。一个shard可以和任意数量的非冲突区域关联起来。在平衡的集群中,MongoDB会将区域中的chunk迁移到区域里关联的shard中。

每个区域包括一个或多个范围的shard key。每个区域的覆盖范围总是包容它的下边界和排它的上界。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容