kafka消费过程

这篇文章讲的很详细很好:一文搞懂 kafka consumer 与 broker 交互机制与原理

  1. 跟任一broker通信确定组协调器(group coordinator)。
  2. 跟组协调器通信,请求加入消费者组,并获取组leader制定的分区分配方案(组leader由组协调器指定,通常是第一个加入消费者组的消费者)。
  3. 跟组协调器通信,获取分区的offset,如果没获取到则根据配置决定消费起点。
  4. 跟分区leader通信,长轮询拉取消息。
  5. 消费完消息后,向组协调器提交offset。

消费者加入消费者组后,会和组协调器建立心跳连接。
当消费者组内有新的消费者加入或有消费者离开,组协调器会触发rebalance,重新进行分区分配。分区分配方案仍然由组leader制定,并由组协调器广播给消费者组的所有消费者。


组协调器的rebalance状态是如何广播给消费者的呢?

image.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 什么是消费者 消费者从订阅的主题消费消息,消费消息的偏移量保存在Kafka的名字是 __consumer_offs...
    david161阅读 255评论 0 0
  • 转自https://www.cnblogs.com/wuzhenzhao/p/10137490.html 关于 T...
    天堂鸟6阅读 5,073评论 0 2
  • 消费者与消费组 消费者负责从订阅的主题上拉取消息,消费组是逻辑概念。一个消费者只属于一个消费组,一个消费组包一个或...
    米兰的小铁匠xxm阅读 3,363评论 0 0
  • (五)kafka生产 & 消费问题 A. 重平衡rebalance 1. 基础定义 触发机制消费组consumer...
    Mr_Chiang阅读 300评论 0 1
  • 四、Kafka消费过程分析 1.消费方式 2.Kafka Api API类型优点缺点高级API不需要自行去管理of...
    chongweiLin阅读 263评论 0 0