nsq笔记[一]:设计架构

NSQ是基于Go语言的实时分布式消息平台,设计用以完成日均亿级的大规模消息服务,可以用于基于最终一致性的消息队列。

消息队列和最终一致性

消息队列是一种进程之间的通信方式,举例而言,当进程a想要给进程b发送消息时,可以先将消息发送至消息队列,此时a充当生产者,b连接到消息队列,作为消费者,在适当的时候消费掉这个消息。消息队列最大的好处就是进程间的解耦合。
最终一致性可以理解为一种软同步,消息队列的通信方式是异步的,消息从进程a发送过去,不能保证进程b的消费,但采取轮回等措施后,可以保证在最终的阶段,a发出的消息经过消息队列后被进程b完全消费。

NSQ的特点

  • 支持实现高可用性,去中心化
  • 消息传递的保障性
  • 限定单个进程的内存占用(消息可以保存于磁盘)
  • 简化生产者和消费者的配置
  • 升级简易
  • 高效率

NSQ的设计架构

NSQ主要有四个组件构成:nsqd,nsqlookupd,nsqadmin和utilities。接下来,逐一介绍每个组件的职责。

nsqd

单个nsqd实例设计用来同时处理多个“流”的数据。“流”也就是主题(topic),一个topic有一个多个channel。每个channel都是对应的topic全部消息的拷贝。参见下图nsqd:


nsqd

图中显示了一个nsqd的工作流程图,可以看到其topic为'clicks',当消息“A”到达topic时,3个channel就会分别复制消息“A”,这种机制可以称之为消息的多路分发,就像广播一样,通过多个channel传给连接的host。一般而言,每个channel对应一个下游的消费topic的服务,可以用不同的名字区分,图中channel的对应名称分别为:'metrics','spam_analysis','archive'。
topics和channels都是独立缓存数据,防止消费者速率低下导致其他channel或topic的阻塞。
并且,一般地,一个channel会有多个client连接,如果这些client都准备好接收消息,消息将随机发给一个client,这样可以起到一个负载均衡的作用,看起来有点像反向代理服务器。参见上图nsqd,channel: 'metrics'连接了3个独立的consumer client,过来的消息随机分配,实现了该channel的负载均衡。

nsqlookupd

nsqlookupd是NSQ的一个助手进程,提供了字典式的查询服务。消费者可以通过nsqlookd查询他们感兴趣订阅的topic所对应的nsqd实例的地址。从配置层面上而言,这种方式解耦了消费者与生产者,两者都只需要与nsqlookupd通信,双方不需要直接绑定配置,减少了复杂度和维护成本。
在低水平下每个nsqd都与nsqlookd有着长期的通信,这样使得nsqd持续将自己的状态反映给nsqlookupd。这些状态数据由nsqlookupd发送给消费者,告知他们最新的nsqd的地址。对消费者而言,有一个HTTP/查询的终端可供轮回。
需要注意的是,nsqd和nsqlookupd两个守护进程设计为独立运行,独立的模块,不需要协调。

nsqadmin

nsqadmin设计用来方便查看,反思,管理集群的。它提供一个Web用户界面来浏览topic/channel/consumer的层次结构,并检查每一层的深度和其他关键性的统计信息。同时,他还支持一些管理命令,比如删除或者清空channel(当channel中消息认为可以被丢弃时)等。

utilities

顾名思义,utilities是一些便于常见功能和数据流自省的实用程序。比如官网上get_start例子上的nsq_file命令。

补充

NSQ作为消息队列,虽然能保证消息的准确送达,却不能保证消息到达的先后顺序,所以需要消息顺序性的功能选择其他MQ或者加上时间戳,自己编写后端的排序程序。

接触NSQ不久,只是使用过,理解不够全面,望高手指点。转载请注明,谢谢。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,718评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,683评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,207评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,755评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,862评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,050评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,136评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,882评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,330评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,651评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,789评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,477评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,135评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,864评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,099评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,598评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,697评论 2 351

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,638评论 18 139
  • 来源 RabbitMQ是用Erlang实现的一个高并发高可靠AMQP消息队列服务器。支持消息的持久化、事务、拥塞控...
    jiangmo阅读 10,353评论 2 34
  • kafka的定义:是一个分布式消息系统,由LinkedIn使用Scala编写,用作LinkedIn的活动流(Act...
    时待吾阅读 5,311评论 1 15
  • 姓名:周小蓬 16019110037 转载自:http://blog.csdn.net/YChenFeng/art...
    aeytifiw阅读 34,715评论 13 425
  • 利用RabbitMQ集群横向扩展能力,均衡流量压力,让消息集群的秒级服务能力达到百万,Google曾做过此类实验;...
    有货技术阅读 3,459评论 0 1