Paste_Image.png
Paste_Image.png
1.kafka是能够处理实时信息流的消息系统
Paste_Image.png
(1)Producer API
提供生产topic的接口
(2) Streams API
接受一个topic 然后返回一个topic
(3)Consumer API
消费topic的api
(4) Connector API
通过 connectors可以将大数据从其它系统导入到Kafka中,也可以从Kafka中导出到其它系统。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等,比如数据库、 Elastic Search 、 Apache Ignite 等。
2.kafka 的用途
(1)在不同系统和应用之间构建实时可靠信息流
(2)能够实时转化和响应信息流
3.Topics and Logs
Paste_Image.png
系统发送的每个记录被称为一个topic。topic的存活周期可以自己设定。
Paste_Image.png
每个consumer都会保持一个meta记录,记录着offset 偏移量。由用户控制。可以随意读取。