1、Kafka的安装部署
下载kafka
安装过程
安装过程非常简单，只需要解压就行，因为这个是编译好之后的可执行程序
-
tar -zxvf kafka_2.11-2.0.0.tgz解压
配置zookeeper
因为kafka依赖于zookeeper来做master选举一起其他数据的维护，所以需要先启动zookeeper节点
kafka内置了zookeeper的服务，所以在bin目录下提供了这些脚本
zookeeper-server-start.sh
zookeeper-server-stop.sh
在config目录下，存在一些配置文件
zookeeper.properties
server.properties
所以我们可以通过下面的脚本来启动zk服务，当然，也可以自己搭建zk的集群来实现
sh zookeeper-server-start.sh -daemon ../config/zookeeper.properties
启动和停止kafka
- 修改server.properties, 增加zookeeper的配置
zookeeper.connect=localhost:2181
- 启动kafka
sh kafka-server-start.sh -daemon config/server.properties
- 停止kafka
sh kafka-server-stop.sh -daemon config/server.properties
2、kafka的基本操作
创建topic
sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --
partitions 1 --topic test
Replication-factor 表示该topic需要在不同的broker中保存几份，这里设置成1，表示在两个broker中
保存两份
Partitions 分区数
查看topic
sh kafka-topics.sh --list --zookeeper localhost:2181
查看topic属性
sh kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
消费消息
sh kafka-console-consumer.sh --bootstrap-server 192.168.13.106:9092 --topic test
--from-beginning
发送消息
sh kafka-console-producer.sh --broker-list 192.168.13.106:9092 --topic test
3、 集群环境安装
环境准备
- 准备三台虚拟机
- 分别把kafka的安装包部署在三台机器上
修改配置
以下配置修改均为server.properties
- 分别修改三台机器的server.properties配置，同一个集群中的每个机器的id必须唯一
broker.id=0
broker.id=1
broker.id=2
- 修改zookeeper的连接配置
zookeeper.connect=192.168.10.68:2181
- 修改listeners配置
如果配置了listeners，那么消息生产者和消费者会使用listeners的配置来进行消息的收发，否则，
会使用localhost
PLAINTEXT表示协议，默认是明文，可以选择其他加密协议
listeners=PLAINTEXT://192.168.10.68:9092
listeners=PLAINTEXT://192.168.10.69:9092
listeners=PLAINTEXT://192.168.10.70:9092
分别启动三台服务器
sh kafka-server-start.sh -daemon ../config/server.properties
