1 Kafka主要特点？
1 同时为发布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。
2 可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及replication防止数据丢失。
3 分布式系统，易于向外扩展。所有的producer、broker和consumer都会有多个，均为分布式的。无需停机即可扩展机器。
4 消息被处理的状态是在consumer端维护，而不是由server端维护。当失败时能自动平衡。
5 支持online和offline的场景。
2 Kafka的架构：
Kayka的整体架构非常简单，是显式分布式架构，producer、broker（kafka）和consumer都可以有多个。Producer，consumer实现Kafka注册的接口，数据从producer发送到broker，broker承担一个中间缓存和分发的作用。broker分发注册到系统中的consumer。broker的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存。客户端和服务器端的通信，是基于简单，高性能，且与编程语言无关的TCP协议。
3 kafka的高吞吐率
高吞吐是kafka需要实现的核心目标之一，为此kafka做了以下一些设计：
1 数据磁盘持久化：消息不在内存中cache，直接写入到磁盘，充分利用
磁盘的顺序读写性能
2 zero-copy：减少IO操作步骤
3 数据批量发送
4 数据压缩
5 Topic划分为多个partition，提高并行能力
4 kafka的负载均衡
- 1 producer根据用户指定的算法，将消息发送到指定的partition
- 2 存在多个partiiton，每个partition有自己的replica，每个replica分布在不同的Broker节点上
- 3 多个partition需要选取出lead partition，lead partition负责读写，并由-
zookeeper负责fail over - 4 通过zookeeper管理broker与consumer的动态加入与离开
5 拉取系统
由于kafka broker会持久化数据，broker没有内存压力，因此，consumer非常适合采取pull的方式消费数据，具有以下几点好处：
- 1 简化kafka设计
- 2 consumer根据消费能力自主控制消息拉取速度
- 3 consumer根据自身情况自主选择消费模式，例如批量，重复消费，从尾端开始消费等
6 可扩展性
当需要增加broker结点时，新增的broker会向zookeeper注册，而producer及consumer会根据注册在zookeeper上的watcher监听感知这些变化，并及时作出调整。
7 Kayka的应用场景
1、消息队列
2、行为跟踪：跟踪用户浏览页面、搜索及其他行为，以发布-订阅的模式实时记录到对应的topic里
3、元信息监控：运维性质的数据监控
4、日志收集
5、流处理
6、事件源
7、持久性日志（commit log）
8 Kayka的设计要点：
1、直接使用linux 文件系统的cache，来高效缓存数据。
Kafka数据不是实时写入硬盘，采用内存映射文件(分页存储)来利用内存提高I/O效率，利用操作系统的页来实现物理内存映射，映射完后物理内存上的操作会被同步到硬盘上，（顺序写磁盘效率比随机写内存要高）。
如果Kafka写入到mmap之后就立即flush然后再返回Producer叫同步(sync)；写入mmap之后立即返回Producer不调用flush叫异步(async)。
2、采用linux Zero-Copy提高发送性能。传统的数据发送需要发送4次上下文切换，采用sendfile系统调用之后，数据直接在内核态交换，系统上下文切换减少为2次。根据测试结果，可以提高60%的数据发送性能。Zero-Copy详细的技术细节可以参考：https://www.ibm.com/developerworks/linux/library/j-zerocopy/
3、数据在磁盘上存取代价为O(1)。kafka以topic来进行消息管理，每个topic包含多个partition，每个partition对应一个逻辑log，有多个segment组成。每个segment中存储多条消息（见下图），消息id由其逻辑位置决定，即从消息id可直接定位到消息的存储位置，避免id到位置的额外映射。每个partition在内存中对应一个index，记录每个segment中的第一条消息偏移。发布者发到某个topic的消息会被均匀的分布到多个part上（随机或根据用户指定的回调函数进行分布），broker收到发布消息往对应partition的最后一个segment上添加该消息，当某个segment上的消息条数达到配置值或消息发布时间超过阈值时，segment上的消息会被flush到磁盘，只有flush到磁盘上的消息订阅者才能订阅到，segment达到一定的大小后将不会再往该segment写数据，broker会创建新的segment。
4、显式分布式，即所有的producer、broker和consumer都会有多个，均为分布式的。Producer和broker之间没有负载均衡机制。broker和consumer之间利用zookeeper进行负载均衡。所有broker和consumer都会在zookeeper中进行注册，且zookeeper会保存他们的一些元数据信息。如果某个broker和consumer发生了变化，所有其他的broker和consumer都会得到通知。
