前些日子有好多朋友都去投岗面试准备跳槽,面完回来跟我说碰到消息中间件一类的问题就挂了。额,有点不知所措,于是乎小编就想着做一次消息中间件的专题,归类整理了MQ(ActiveMQ/RabbitMQ/RocketMQ)+Kafka 等的纯手绘知识体系图、面试以及相关的学习笔记。
为了更好的梳理相关知识,咱们先看纯手绘知识体系图
1.1 Kafka知识体系大纲
由于我手绘这些知识体系大纲是用的xmind软件,无法上传,所以都以截图的形式展示,细节处不清楚(毕竟图片形式有限),不过可看【原图(点击获取)】!
1.2 RabbitMQ知识体系大纲
1.3 RocketMQ知识体系大纲
看完知识大纲,该刷面试了
2.1 刷刷Kafka面试
Kafka的用途有哪些?使用场景如何?
Kafka中的ISR、AR又代表什么?ISR的伸缩又指什么
Kafka中的HW、LEO、LSO、LW等分别代表什么?
Kafka中是怎么体现消息顺序性的?
Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?
Kafka生产者客户端的整体结构是什么样子的?
Kafka生产者客户端中使用了几个线程来处理?分别是什么?
Kafka的旧版Scala的消费者客户端的设计有什么缺陷?
“消费组中的消费者个数如果超过topic的分区,那么就会有消费者消费不到数据”这句话是否正确?如果正确,那么有没有什么hack的手段?
有哪些情形会造成重复消费?
哪些情景下会造成消息漏消费?
KafkaConsumer是非线程安全的,那么怎么样实现多线程消费?
简述消费者与消费组之间的关系
当你使用kafka-topics.sh创建(删除)了一个topic之后,Kafka背后会执行什么逻辑?
topic的分区数可不可以增加?如果可以怎么增加?如果不可以,那又是为什么?
topic的分区数可不可以减少?如果可以怎么减少?如果不可以,那又是为什么?
创建topic时如何选择合适的分区数?
Kafka目前有哪些内部topic,它们都有什么特征?各自的作用又是什么?
优先副本是什么?它有什么特殊的作用?
Kafka有哪几处地方有分区分配的概念?简述大致的过程及原理
简述Kafka的日志目录结构
Kafka中有哪些索引文件?
如果我指定了一个offset,Kafka怎么查找到对应的消息?
如果我指定了一个timestamp,Kafka怎么查找到对应的消息?
聊一聊你对Kafka的Log Retention的理解
聊一聊你对Kafka的Log Compaction的理解
聊一聊你对Kafka底层存储的理解
聊一聊Kafka的延时操作的原理
聊一聊Kafka控制器的作用
Kafka的旧版Scala的消费者客户端的设计有什么缺陷?
消费再均衡的原理是什么?(提示:消费者协调器和消费组协调器)
Kafka中的幂等是怎么实现的?
Kafka中的事务是怎么实现的?
失效副本是指什么?有哪些应对措施?
多副本下,各个副本中的HW和LEO的演变过程
Kafka在可靠性方面做了哪些改进?(HW, LeaderEpoch)
为什么Kafka不支持读写分离?
Kafka中的延迟队列怎么实现
Kafka中怎么实现死信队列和重试队列?
Kafka中怎么做消息审计?
Kafka中怎么做消息轨迹?
怎么计算Lag?(注意read_uncommitted和read_committed状态下的不同)
Kafka有哪些指标需要着重关注?
Kafka的哪些设计让它有如此高的性能?
2.2 刷刷ActiveMQ面试
ActiveMQ 服务器宕机怎么办?
丢消息怎么办?
持久化消息非常慢
消息的不均匀消费
死信队列
ActiveMQ 中的消息重发时间间隔和重发次数吗?
2.3 刷刷RabbitMQ面试
RabbitMQ 中的 broker 是指什么?cluster 又是指什么?
什么是元数据?元数据分为哪些类型?包括哪些内容?与 cluster 相关的元数据有哪些?元数据是如何保存的?元数据在 cluster 中是如何分布的?
RAM node 和 disk node 的区别?
RabbitMQ 上的一个 queue 中存放的 message 是否有数量限制?
RabbitMQ 概念里的 channel、exchange 和 queue 这些东东是逻辑概念,还是对应着进程实体?这些东东分别起什么作用?
vhost 是什么?起什么作用?
在单 node 系统和多 node 构成的 cluster 系统中声明 queue、exchange ,以及进行 binding 会有什么不同?
客户端连接到 cluster 中的任意 node 上是否都能正常工作?
若 cluster 中拥有某个 queue 的 owner node 失效了,且该 queue 被声明具有durable 属性,是否能够成功从其他 node 上重新声明该 queue ?
cluster 中 node 的失效会对 consumer 产生什么影响?若是在 cluster 中创建了mirrored queue ,这时 node 失效会对 consumer 产生什么影响?
能够在地理上分开的不同数据中心使用 RabbitMQ cluster 么?
为什么 heavy RPC 的使用场景下不建议采用 disk node ?
向不存在的 exchange 发 publish 消息会发生什么?向不存在的 queue 执行consume 动作会发生什么?
routing_key 和 binding_key 的最大长度是多少?
RabbitMQ 允许发送的 message 最大可达多大?
什么情况下 producer 不主动创建 queue 是安全的?
“dead letter”queue 的用途?
为什么说保证 message 被可靠持久化的条件是 queue 和 exchange 具有durable 属性,同时 message 具有 persistent 属性才行?
什么情况下会出现 blackholed 问题?
如何防止出现 blackholed 问题?
Consumer Cancellation Notification 机制用于什么场景?
Basic.Reject 的用法是什么?
为什么不应该对所有的 message 都使用持久化机制?
RabbitMQ 中的 cluster、mirrored queue,以及 warrens 机制分别用于解决什么问题?存在哪些问题?
全部刷题的答案已经整理好,如下题所示的PDF文件了
看完体系大纲+面试刷题,有知识漏洞那就继续往下看学习笔记
3.1 Kafka源码解析与实战
第1章 Kafka简介
第2章 Kafka的架构
第3章 Broker概述
第4章 Broker的基本模块
第5章 Broker的控制管理模块
第6章 Topic的管理工具
第7章 生产者
第8章 消费者
第9章 Kafka的典型应用
第10章 Kafka的综合实例
3.2 手写RocketMQ笔记
第一节:RocketMQ介绍
第二节:RocketMq中消息的发送
第三节:RocketMQ消息消费
第四节:深入消息发送
第五节:深入消息模式
第六节:顺序消息
第七节:延时消息
第八节:死信队列
第九节:消费幂等
第十节:消息过滤
第十一节:RocketMQ存储概要设计
第十二节:RocketMQ中的事务消息
第十三节:RocketMQ主从同步(HA)机制
第十四节:限时订单实战 第十五节:RocketMQ源码分析
一波操作猛如虎,我来总结中间件
关于消息中间件MQ(ActiveMQ/RabbitMQ/RocketMQ)+Kafka,小编从每个的知识体系大纲开始,进行知识唤醒与梳理,然后再去刷刷各大面试高频题(附有详细的答案),最后在知识出现纰漏时尽快弥补(查找学习笔记)。