kafka消费者 细节

  • commit offset时可以附带一个string类型的metadata用于添加一些有关信息 也可以附带一个long类型的timestamp
  • 使用完毕需要close 否则会造成TCP连接的内存泄漏
  • 消费者不是线程安全的
  • 调用老Broker不支持的新特性时 会收到UnsupportedVersionException
  • 消费者偏移量有两种更新方式
    • 随着每一次调用poll()方法自动前进
    • 调用commitSync()/commitAsync()方法主动提交偏移量,默认也会定时提交(5S)
  • 相同group.id的消费者在同一group中,这些消费者可以部署在同一机器上,也可以部署在不同机器上以提供扩展性和容错性
  • 消费者可以动态订阅主题列表,通过subsribe()接口
  • 一个消息只会发送给一个组中的一个消费者
  • 每个分区(partition)属于一个消费者,分区会均衡的分配给所有的消费者
  • 这种从属关系会被动态的维持,当原消费者关闭时,会分配给其他的消费者。同样,新的消费者加入后,会从旧消费者中获取分区的所有权。这被称为组重平衡
  • 当新的分区被创建,新的符合订阅规则的主题被创建时,组可以通过定时的更新元数据来获知并触发组重平衡
  • 概念上 一个消费者群可以看做一个独立的多线程的消费者 kafka理所当然的支持大量的群组订阅同一主题
  • 在队列消息系统中 同一消费群的需要类似于排队式的消费这些消息 而发布订阅消息系统中 每一个消费者都是单独的群组 需要读取所订阅主题的所有消息 kafka使用消费者组统一了两种模型
  • 消费者可以通过ConsumerRebalanceListener来监听组重平衡的发生以完成一些收尾的工作
  • 消费者可以主动地选择自己的分区 assign()接口 这种情况 组内的协调将会失效
  • 消费者的第一次poll()会建立起对broker的连接 同时也会触发组重平衡获取从属分区
  • broker通过poll来确认消费者活着,消费者会定期的发送心跳包给broker 超过时限未收到心跳包 则判断消费者死亡 即心跳包和poll缺一不可
  • 区别 不调用poll是消费者主动断链 心跳包是broker主动断链
  • 仅活跃成员可commit offset 不poll时commit会收到CommitFailedException
  • max.poll.interval.ms 可以通过调整该参数来调整消费者用于处理消息的时间 过大的增加这个值会推迟组重平衡的发生 如果该值过小 可能会导致消费者来不及处理获取到的消息
  • max.poll.records 该参数表明一次返回的消息的最大值 可以防止消费者不能在指定的时间内处理掉所有获取的消息
  • 如果消息处理的时间不可预料,我们可以将消息的处理放入单独的线程,需要注意:确保提交的偏移量是正确的。我们可以通过关闭自动确认偏移量并且在每个线程结束后手动提交偏移量。在未处理完成前,可以使用pause()来停止获取相应分区的新消息
  • bootstrap.servers只需要包含broker集群中的一部分即可
  • 当消息的消费与处理耦合时,我们需要确认消息被处理后手动提交偏移量
  • 当消费者保持高可用且失败后重试时(cluster management framework or stream processing framework),就不需要kafka监听它的情况了
  • 通过使用非kafka存储offset 我们可以实现exactly once 需要关闭auto.commit 保存每个record的offset 重启时seek到保存的offset
  • seekToBeginning seekToEnd
  • 可以使用pause()和resume()来动态的限制对主题或者分区的消费
  • 0.11.0后 kafka加入了对事务的支持,将消费者的隔离级别设置成read_commited,消费者仅能读取那些已经被commit的事务的消息,这种情况下消费者分区内最大偏移位最后一个完成的事务的偏移 Last Stable offset (LSO)
  • 使用wakeup()来安全的关闭消费者线程
  • 多线程的使用consumer(一个消费者一个线程)
    • (优) 易扩展 / 一个消费者一个线程是最佳实践,可以免去线程间通信的花费 / 可以非常容易的实现分区的有序处理
    • (缺) 每一个消费者对应着一个TCP连接,kafka通常情况可以高效的管理这些连接。
    • (缺) 大量的消费者发送大量的请求到服务器,分批次的发送效果变差,可能会降低I/O吞吐量
    • (缺) 线程总数收分区总数所限制
  • 消费与处理的解耦 使用一定数量的消费线程消费所有数据,将数据放入一个阻塞的队列中,在使用一个处理线程池来真正的处理这些消息
    • (优) 可以自由确定消费者和处理线程的数量比例,不受分区数量的限制
    • (缺) 无法保证处理的先后顺序 大部分情况下不是问题
    • (缺) 主动的提交偏移变得非常困难 需要多线程之间的协调以确保分区的消费完成
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 222,865评论 6 518
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 95,296评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 169,631评论 0 364
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 60,199评论 1 300
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 69,196评论 6 398
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,793评论 1 314
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 41,221评论 3 423
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 40,174评论 0 277
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,699评论 1 320
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,770评论 3 343
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,918评论 1 353
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,573评论 5 351
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 42,255评论 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,749评论 0 25
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,862评论 1 274
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 49,364评论 3 379
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,926评论 2 361

推荐阅读更多精彩内容