【Kafka官方文档翻译】5.4.9. 限额

原文地址:https://kafka.apache.org/0101/documentation.html#design_quotas
  从0.9版本开始,Kafka可以对生产和消费请求进行限额配置。基于字节速率来限制,每个group中所有的客户端共享一个限额。

Why are quotas necessary?

Producer和Consumer可能生产或消费大量的数据而耗尽Broker的资源,导致网络饱和。进行限额可以避免这些问题,特别是在多租户的集群中,一小部分低质量的客户端会降低整个集群的体验。实际上,当运行Kafka作为服务时,这还可以对API的使用进行限制。

Client groups

Kafka客户端的身份代表了用于鉴权。 在无鉴权机制的集群中,用户身份是由服务器使用可配置的PrincipalBuilder进行选择的,Client-id作为客户端逻辑分组,是由客户端应用选择的一个有意义的名称。标量(user, client-id)定义共享这个用户身份和客户端ID的逻辑客户端分组。
  配额可以用于(user, client-id)组合,或user,client-id分组。
  对一个给定的连接,最符合这个连接的配额被使用到,一个限额组的所有连接共享这个限额配置,例如:如果(user=”test-user”, client-id=”test-client”) 10MB/s的配额,这个配置会被所有的具有”test-user”用户和客户端ID是 “test-client”的所有生产者所共享。

Quota Configuration

配额可以按照(user, client-id)或者, user或client-id进行分组, 如果需要更高或更低的配额, 可以覆盖默配额, 这个机制类似于对日志主题配置的覆盖, user 或者 (user, client-id)配额可以覆盖写入到zookeeper下的 /config/users ,client-id配置, 可以写入到 /config/clients。这些覆盖写入会被服务器很快的读取到, 这让我们修改配置不需要重新启动服务器. 每个分组的默认配置也可以同样的方式动态修改。
  限额的配置顺序如下:

  • 1./config/users//clients/
  • 2./config/users//clients/
  • 3./config/users/
  • 4./config/users//clients/
  • 5./config/users//clients/
  • 6./config/users/
  • 7./config/clients/
  • 8./config/clients/
      Broker的quota.producer.default,quota.consumer.default也可以用来配置默认的client-id分组的默认值。这可属性已经不鼓励使用,后续将会删除。默认client-id限额配置可以和其它默认配置一样,在Zookeeper直接设置。

Enforcement

默认情况下,每个唯一的客户端group会收到一个集群配置的固定的限额。这个限额是基于每个Broker的。每个客户端能发布或获取在每台服务器都的最大速率, 我们按服务器定义配置, 而不是按整个集群定义,是因为如果是集群范围的需要额外的机制来共享配额的使用情况, 这会导致配额机制的实现比较难。
  Broker检测到限额违规时时如何处理的?在我们的解决方案中,Broker不会返回错误给客户端,而是降低客户端的速率。Broker计算使客户端回到合理限额的需要的响应延迟。这种方法的处理对客户端是透明,使他们不必执行任何棘手的,特殊的操作。实际上,错误的客户端还可能加剧正在解决的限额问题。
  客户端字节率在多个小窗口(例如每个1秒的30个窗口)上进行测量,以便快速检测和纠正配额违规。 通常,具有大的测量窗口(例如,每个30秒的10个窗口)导致大量的流量脉冲,随后是长时间的延迟,这在用户体验方面不是很好。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,265评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,078评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,852评论 0 347
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,408评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,445评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,772评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,921评论 3 406
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,688评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,130评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,467评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,617评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,276评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,882评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,740评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,967评论 1 265
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,315评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,486评论 2 348

推荐阅读更多精彩内容