RocketMQ概述

概述

ApacheRocketMQ是一个低延时、高性能、可靠、海量并且灵活扩展性的分布式消息和流平台,于2017年9月25日成为Apache基金会顶级开源项目。它由4个部分组成:name servers、brokers、producers、consumers。每个部分都能水平扩展防止单点故障。

NameServer Cluster

Name servers提供轻量级的服务发现和路由功能。每个Name Server记录完整的路由信息,提供一致的读写服务并且支持快速的容量扩展。

Broker Cluster

Brokers关注消息存储通过轻量的TOPIC和QUEUE机制。它们支持Push和Pull模式,包含容错机制(2 copies or 3 copies),并且提供strong padding of peaks and capacity of accumulating hundreds of billion messages in their original time order.另外,Brokers提供灾难恢复、丰富的指标统计和警告机制,所有这些是传统的消息系统缺失的。

Producter Cluster

Producters支持分布式部署。分布式Producters通过多种负载均衡机制发送消息到Broker Cluster。发送进程支持快速失败并且低延时。

Consumer Cluster

Consumers支持Push和Pull两种分布式部署模式。也支持集群消费和消息广播。它提供实时消息订阅机制并且满足大多数消费场景。RocketMQ的网站为感兴趣的读者提供1个快速开始指南。

NameServer

NameServer是一个全功能的服务器,包括有2个功能:

  • Broker管理:NameServer接受Broker cluster的注册,并且提供心跳机制检查broker是否alive
  • 路由管理:每个NameServer拥有broker cluster的完整路由信息和供客户端查询的队列信息

据我们所知,RocketMQ客户端(Producer/Consumer)将会从NameServer查询队列路由信息,但是客户端是怎么发现NameServer的地址的呢?

有四种方式提供NameServer地址列表给客户端:

  • 编程方式,例如producer.setNamesrvAddr("ip:port")
  • Java Options,使用rocketmq.namesrv.addr
  • 环境变量,使用NAMESRV_ADDR
  • HTTP Endpoint

Broker Server

Broker Server是消息存储、传递、消息查询、高可用等的可靠保证。
下图显示的是Broker Server几个重要的子模块

  • Remoting Module,broker的入口,处理客户端请求
  • Client Manager,管理客户端(Producer/Consumer)并且维护Consumer的topic订阅
  • Store Service,提供简单的API在物理磁盘存储或查询消息
  • HA Service,提供master broker和slave broker之间的数据同步功能
  • Index Service,通过制定的key构建消息索引和消息快速查找

其他功能

  • 异步发送不处理结果,调用SendOneway方法即可,性能高,即使发失败也不会抛异常。但这种情况下,发送方对消息是否发成功全然不知,适用于量大但允许丢消息的场景。
  • 异步发送,异步处理结果,producer的Send方法允许传入一个回调接口,此时,Send方法不阻塞直接返回,消息发送成功或失败时,会触发传入接口中的方法
  • 广播消费,如果希望消息在同一个group的每台机器上都消费一次,可以使用广播消费。
  • Tag过滤,被滤掉的消息会直接被这个consumer的group丢弃,不会再通过网络发送
  • 拉模式
  • 延时消息

最佳实践

Producer Group

  • 同一个group的生产者一般尽量只创建一个,每次发消息时重复使用。
  • 使用日志记录消息ID,便于出问题时排查。每条消息都有一个唯一的ID,消息发成功时,返回的结束里能拿到发成功的消息的ID。消费消息时,也能拿到此消息的ID。一般比较好的做法是在日志里把这个消息ID打出来,便于今后追踪问题。使用这个ID,还可以到后台查出消息内容。
  • 注意消费方法是并发执行的。用户手册中有说明,消费时请留意线程安全问题。另外,一般没必要在消费方法里另外开个线程去处理消息,调整消费线程池的大小在大多数情况下就能达到目的。
  • 用消息队列本身的重试机制。消息队列本身对消息的可靠消费做了一定的保证。如果消费时抛了异常,或返回了失败,消息会进入一个重试队列,定期重试消费,重试的间隔会逐次延长(1s、5s、10s、30s……最后一直是2小时)。如果你的消费方法里要做插数据库、调其它系统的接口等可能失败的操作,但又要保证消息最终要消费成功,可以利用这个特性,但要注意重试是会延时的,要留意这个延时对业务的影响。
  • 如果对重复消费的情况零容忍,则一定要做幂等处理。消息系统保证消息可靠消费,但相应的,就不能保证消息不重复。大多数情况下一条消息在一个消费者组里只消费一次。但在网络抖动、消费者挂掉等异常情况下,可能会有少量的重复消费。如果重复消费会导致业务上不能容忍的错误(比如重复下单、重复扣款之类的),就一定要做去重处理。去重的方法根据业务逻辑可能各不相同,这里不能给出一个统一的方法。
  • 注意发消息是可能失败抛异常的。网络故障、消息服务挂掉的情况下都会抛异常(虽然挂掉的机率是非常低的)。这时消息没发出去,也不会再重试了。如果业务对此零容忍,则需要做处理。
  • 善用后台排查问题。后台可以看很多东西:消费者的在线情况、消息的消费进度、消息内容等等。很多调试问题都可以借助后台来排查
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容