Hash-based partitioning in OpenStack Telemetry

偶然看到Redhet Principal Engineer的一篇slides,内容是关于Telemetry Central Agent Partitioning的。 比较感兴趣,先简单翻译下从宏观上了解下。

Background

  • 在Ironic conductors中,使用连续哈希环(consistent hash-ring)来分配节点。受此方法启发。

  • 主要想法是当共享最小信息时,允许central agents来自我组织。

  • BP spec中的关键步骤是blissful ignorance

How does it work?

  • 启动多个central agents。

  • tooz group membership允许每个agent知道其他agents的存在。

  • 每个agent载入相同的discovery extensions。

  • 每个discoverer都尝试来discover所有的resources。

  • 但是只poll被分配的resources的子集。

How does the agent know which resources it's been assigned?

  • 每个discovered resource都有一个resource ID(UUID, IP addr, etc)。

  • 每个独立的agent使用agent pool的基数来运算一个list清单做哈希。

  • 我们依赖哈希算法的均匀分布特性。

  • 所以每个agent能分辨:我是不是该为这个事情负责。

What happens when an agent dies or a fresh agent is started?

  • 每个agent注册一个tooz group membership callback,所以一旦pool中live agents发生了变化,所有注册了的agent都会被通知到。

  • 一旦发生agent join或者leave,hash清单会改变大小。

  • 在下一次polling cycle中,每个agent划分不同的不连续的子集来决定做哪些resources的discover。

  • 总之,我们覆盖到所有的resources,以一个single polling cycle为模。

What are the keys win for this approach?

  • light
  • fast
  • simple
  • ignorant
  • thrifty

Reference

Eoghan Glynn http://www.slideshare.net/EoghanGlynn/hash-based-central-agent-workload-partitioning-37760440

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,544评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,430评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,764评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,193评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,216评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,182评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,063评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,917评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,329评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,543评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,722评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,425评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,019评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,671评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,825评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,729评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,614评论 2 353

推荐阅读更多精彩内容

  • 酒是中国人日常用品,男人都要喝酒。有的喜欢豪饮万丈,有的喜欢小口品笳。我是两种喝法都尝过,不管是哪种喝法,烈酒下肚...
    犇壵森淼阅读 313评论 0 1
  • 周末去看了期待已久的电影《路边野餐》,这部低成本的独立电影只上映十天,因为排片太少,我在炎热的夏日里往返四十公里才...
    渡远行舟阅读 713评论 0 2
  • 看到有个朋友写了7年来的生活,大概写了几个问题: 第一,在家与老公共同做外贸,钱有了,却感觉自己与社会脱节了。 第...
    陶子_演说教练阅读 165评论 1 0