Zookeeper

参考文章

是什么

  • 是一个分布式的,开放源码的分布式应用程序协调服务。
  • 是集群的管理者,监视着集群中各个节点的状态。根据节点提交的反馈进行下一步合理的操作。
  • 最终,将简单易用的接口和性能高效,功能稳定的系统提供给用户

提供了什么

  • 文件系统
  • 通知机制

文件系统

[图片上传失败...(image-48c60a-1534841583787)]

  • 每个子目录项如 App1都被成为znode
  • 和文件系统一样,能够自由的增加 删除znode
  • znode可以存储数据

有四种类型的znode

  • 持久化目录节点 PERSISTENT
    • 客户端与zookeeper断开连接后,该节点依然存在
  • 持久化顺序目录节点 PERSISTENT_SEQUENTIAL
    • 断开后,该节点依然存在,只是zookeeper给该节点名称进行顺序编号
  • 临时目录节点 ephemeral
    • 断开连接后,节点被删除
  • 临时顺序编号目录节点
    • 断开后,节点删除。c创建的节点会自动按顺序编号

通知机制

客户端注册监听它关心的目录节点,当目录节点发生变化时,zookeeper会通知客户端。

Watch

  • 一个watch事件是一个一次性的触发器。
  • watcher event异步发送。可能会存在,由于网络延迟或其他因素导致,客户端在不同的情况下收到监听事件。

能做什么

  • 命名服务
  • 配置管理
  • 集群管理
  • 分布式锁
  • 队列管理

命名服务

在zookeeper文件系统里创建一个目录,即有统一的path

配置管理

如果程序分布在多台机器上,逐个配置很麻烦。全部放到zookeeper上,然后监听某个目录节点,一旦配置信息发生变化,每个程序都会收到通知。
[图片上传失败...(image-e8ba89-1534841583787)]

集群管理

主要是两点

  • 机器的加入和退出

  • 选举master
    [图片上传失败...(image-4a87ab-1534841583787)]

  • 所有机器约定在group下创建临时目录节点,然后监听

  • 当有机器挂掉,该机器与zookeeper断开,该节点被删除,其他机器都可以接到通知

  • 当有机器加入,也会收到通知。默认选取编号最小的机器作为master

分布式锁

分为两类

  1. 将znode看做一把锁,通过createznode方式实现,所有客户端都去创建/pre_lock节点,谁成功创建,谁获得锁.
  2. /pre_lock预先存在,所有客户端在它下面创建临时顺序目录节点,编号最小的获得锁。

工作原理

zookeeper的核心是原子广播,这个机制保证了各个server之间的同步。实现这个机制的协议叫zab协议(ZooKeeper Atomic Broadcast )

zab协议有两种模式:

  • 恢复模式(选主)
  • 广播模式 (同步)

恢复模式

  • 当服务启动或者领导者崩溃后,zab进入恢复模式
  • 当领导被选举出来,且大多数server完成了同步,恢复模式结束

为了保证事物顺序一致性:

zookeeper采用了递增的事物id号 64位

选主流程

zk的选举有两种 一种是基于basic paxos实现的,另外一种是fast paxos实现的,默认是fast

fast paxos

某server首先向所有的server提议自己要成为leader,其他server收到之后,解决apoch和zxid的冲突,并接受对方建议,然后向对方发送完成的信息。


image

同步流程

选完leader之后,zk就进入同步流程

  1. leader等待server连接
  2. Follow连接leader,将最大的zxid发送给leader
  3. leader根据zxid确定同步点
  4. 完成同步之后通知follower,已经成为uptodate状态
  5. follower收到uptodate消息后,又可以重新接收client的请求进行服务了。
image
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 210,835评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 89,900评论 2 383
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,481评论 0 345
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,303评论 1 282
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,375评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,729评论 1 289
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,877评论 3 404
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,633评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,088评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,443评论 2 326
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,563评论 1 339
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,251评论 4 328
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,827评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,712评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,943评论 1 264
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,240评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,435评论 2 348

推荐阅读更多精彩内容