一、简史
Message Queue的需求由来已久,80年代最早在金融交易中,高盛等公司采用Teknekron公司的产品,当时的Message queuing软件叫做:the information bus(TIB)。 TIB被电信和通讯公司采用,路透社收购了Teknekron公司。之后,IBM开发了MQSeries,微软开发了Microsoft Message Queue(MSMQ)。这些商业MQ供应商的问题是厂商锁定,价格高昂。2001年,Java Message queuing试图解决锁定和交互性的问题,但对应用来说反而更加麻烦了。
于是2004年,摩根大通和iMatrix开始着手Advanced Message Queuing Protocol (AMQP)开放标准的开发。2006年,AMQP规范发布。2007年,Rabbit技术公司基于AMQP标准开发的RabbitMQ 1.0 发布。
目前RabbitMQ的最新版本为3.5.7,基于AMQP 0-9-1。
图片描述
RabbitMQ采用Erlang语言开发。Erlang语言由Ericson设计,专门为开发concurrent和distribution系统的一种语言,在电信领域使用广泛。OTP(Open Telecom Platform)作为Erlang语言的一部分,包含了很多基于Erlang开发的中间件/库/工具,如mnesia/SASL,极大方便了Erlang应用的开发。OTP就类似于Python语言中众多的module,用户借助这些module可以很方便的开发应用。
二、AMQP 的基本概念
AMQP(RabbitMQ)必须由三部分:交换器、队列和绑定
- 消息(Message):由有效载荷(playload)和标签(label)组成。其中有效载荷既传输的数据。
- 生产者(producer):创建消息,发布到代理服务器(Message Broker)。
- 代理服务器(Message Broker):接收和分发消息的应用,RabbitMQ Server就是消息代理服务器,其中包含概念很多,以RabbitMQ 为例:信道(channel)、队列(queue)、交换器(exchange)、路由键(routing key)、绑定(binding key)、虚拟主机(vhost)等。
- 信道(channel): 应用程序(生产与/或消费)和代理服务器之间TCP连接内的虚拟连接,解决TCP连接数量限制及降低TCP连接代价。每个信道有一个ID,其概念与“频分多路复用”类似。参考上图:AMQP基本概念
- 队列(queue):消息最终到达队列中,等待消费者消费。使用“basic.consume”订阅可获得队列全部消息,“basic.get”订阅只能获得队列的一条消息(如果队列中存在消息)。如果无人订阅,消息将在队列中存储,等待订阅;如果多个消费者同时订阅该队列,消息将以自动轮询(round-robin)方式发送给消费者(Fanout Exchange,每个消费者只能获得队列中消息的子集)
- 交换器(exchange):消息到达代理服务器的第一站,根据分发规则,匹配查询表中的(routing key)路由键(Fanout Exchange除外),分发消息到队列(queue)中去。常用的类型有:direct (point-to-point), topic (publish-subscribe) and fanout (multicast),请参考“2.1交换器”
- 路由键(routing key):消息发送给交换器时,消息将拥有一个路由键(默认为空),交换器根据这个路由键将消息发送到匹配的队列中。
- 绑定键(binding key):队列需要通过绑定键(默认为空)绑定到交换器上,交换器将消息的路由键与所绑定队列的绑定键进行匹配,正确匹配的消息将发送到队列中。路由键是偏向生产的概念,而绑定键是偏向消费的概念。
- 虚拟主机(vhost):AMQP概念的基础,其本质上就是一个mini版的代理服务器(拥有自己的队列、交换器和绑定,更重要的是,拥有自己的权限机制),RabbitMQ默认的vhost:“/”(类似于网络中的namespace),每个用户只能访问自己的vhost(通常会被指派至少一个vhost),进而用户只能访问自己的队列、交换器和绑定,所以vhost之间是绝对隔离的(安全性与可移植性)。
- 消费者(consumer):连接到代理服务器,并订阅到队列(queue)上,代理服务器将发送消息给一个订阅的/监听的消费者,消费者其只能接收消息的一部分:有效载荷(playload)。
三、RabbitMQ说明
3.1 交换器类型
direct交换器
如果路由键(routing key)匹配成功,消息就被投递到对应的各个队列,绑定键(binding key)不支持“*”和“#”。消费者在接受消息的信道上可以给生产者反馈。fanout
不存在(routing key)路由键,消息以自动轮询(round-robin)的形式发送到对应的队列(幼儿园给孩子分苹果,如果苹果足够多,将平均分配给每个人),队列不存在绑定键(binding key),消费者在接受消息的当前信道上可以给生产者反馈。topic
存在(routing key)路由键,消息以广播的形式发送到绑定键(bing key)匹配的各个队列,绑定键(binding key)支持“*”和“#”headers (已废弃)
略
*:除“.”作为分隔符,匹配任意字符,如*.msg-inbox匹配任意.msg-info结尾的字符
#:将匹配任意字符,如#msg-inbox匹配任意以msg-inbox结尾的字符,包含“ . * # ”等字符
队列
绑定
- 典型的“生产/消费”消息模型
图片描述
生产者发送消息到broker server(RabbitMQ)。在Broker内部,用户创建Exchange/Queue,通过Binding规则将两者联系在一起。Exchange分发消息,根据类型/binding的不同分发策略有区别。消息最后来到Queue中,等待消费者取走。
- Exchange类型
Exchange有多种类型,最常用的是Direct/Fanout/Topic三种类型。
Direct
图片描述
Message中的“routing key”如果和Binding中的“binding key”一致, Direct exchange则将message发到对应的queue中。
Fanout
图片描述
每个发到Fanout类型Exchange的message都会分到所有绑定的queue上去。
Topic
图片描述
根据routing key,及通配规则,Topic exchange将分发到目标queue中。
Routing key中可以包含两种通配符,类似于正则表达式:
“#”通配任何零个或多个word
“*”通配任何单个word
这里也推荐给想要了解RabbitMQ的同学一个网站,http://tryrabbitmq.com ,它提供在线RabbitMQ 模拟器,可以帮助理解Exchange/queue/binding概念。
图片描述
以上内容参考:
1、RabbitMQ in Action:电子工业出版社 2015年9月第一版
2、百度百科:http://baike.baidu.com/item/AMQP
3、博客园:http://www.cnblogs.com/frankyou/p/5283539.html