RocketMQ 架构

img

Overview

Apache RocketMQ是一个具有低延迟、高性能和可靠性、万亿级容量和灵活可伸缩性的分布式消息流和流媒体平台。它由四个部分组成:名称服务器、代理(brokers)、生产者和消费者。它们的每一个都可以横向扩展,而不会出现单点故障。如上图所示。

命名服务器集群

名称服务器提供轻量级服务发现和路由。每个名称服务器记录完整的路由信息,提供相应的读写服务,支持快速存储扩展。

Broker 集群

代理通过提供轻量级的TOPICQUEUE机制来处理消息存储。它们支持推(Push)和拉(Pull)模型,包含容错机制(2个副本或3个副本),并通过在原始的时间顺序中积累以百万的信息,提供强大的峰值和容量填充。此外,代理还提供了灾难恢复、丰富的度量数据和警报机制,这些都是传统消息传递系统中所缺少的。

Producer 集群

生产者支持分布式部署。分布式生产者通过多种负载均衡模式将消息发送到代理集群。发送过程支持快速失败和低延迟。

Consumer 集群

消费者也支持在推和拉模型中进行分布式部署。它还支持集群消费和消息广播。它提供实时消息订阅机制,可以满足大多数客户需求。RocketMQ的网站为感兴趣的用户提供了一个简单的快速入门指南。

NameServer

NameServer是一个功能完备的服务器,主要包括两个特性:

  • Broker 管理,NameServer接受来自Broker集群的注册,并提供心跳机制来检查Broker是否还活着。
  • 路由管理,每个名称服务器将保存关于代理集群的整个路由信息和客户查询的队列信息。

如我们所知,RocketMQ客户端(生产者/消费者)将从NameServer查询队列路由信息,但是客户端如何找到NameServer地址?

有四种方法可以向客户端提供NameServer地址列表:

  • 编程的方式,如rocketmq.namesrv.addr
  • Java参数,使用rocketmq.namesrv.addr
  • 环境变量,使用NAMESRV_ADDR
  • HTTP端点

关于如何找到NameServer地址的更多细节请查阅 here.

Broker Server

代理服务器负责消息存储和投递、消息查询、HA保证等等。

正如下图所示,代理服务器有一些重要的子模块:

  • Remoting模块,代理的入口,处理来自客户端的请求。
  • 客户端管理,管理客户端(生产者/消费者)并维护消费者的主题订阅。
  • 存储服务,提供在物理磁盘中存储或查询消息的简单api。
  • HA服务,提供master broker和slave broker之间的数据同步功能。
  • 索引服务,通过指定的键为消息构建索引,并提供快速的消息查询。
img
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,743评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,296评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,285评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,485评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,581评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,821评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,960评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,719评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,186评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,516评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,650评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,329评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,936评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,757评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,991评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,370评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,527评论 2 349

推荐阅读更多精彩内容