1.下载安装
- 到https://www.apache.org上下载
wget http://apache.fayea.com/kafka/0.10.0.0/kafka_2.11-0.10.0.0.tgz - 安装：
拷贝到用户目录 cp kafka_2.11-0.10.0.0.tgz /usr/local
解压：tar -zxvf kafka_2.11-0.10.0.0.tgz
重命名： mv kafka_2.11-0.10.0.0 kafka
2.单机版配置
- 使用kafka自带的zookeeper：默认config中配置的zookeeper地址为zookeeper.connect=localhost:2181
bin/zookeeper-server-start.sh config/zookeeper.properties &
bin/kafka-server-start.sh config/server.properties & - 不适用自带的zookeeper，则需要修改config.properties中的zookeeper.connect为zookeeper地址
bin/kafka-server-start.sh config/server.properties & - &表示后台启动进程
- 停止kafka集群：bin/kafka-server-stop.sh
3.命令行测试：
3.1创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test&
3.2列出所有topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
3.3启动生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
输入一些信息，比如hello，并且Ctrl+z退出shell
3.4启动消费者comsumer
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
稍等片刻就能看到你生产的消息 hello
4.伪分布式搭建：
4.1配置
每个broker代表一个kafka server端，每个broker对应一个server.properties的配置文件,我们搭建运行3个broker的伪分布式环境。
配置文件分别为config/server.properties、config/server1.properties、config/server2.properties。
config/server.properties:
broker.id=0
hostname = localhost
port = 9092
log.dirs=/usr/local/kafka/logs/kafka-log-0
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
config/server-1.properties:
broker.id=1
hostname = localhost
port = 9093
log.dirs=/usr/local/kafka/logs/kafka-log-1
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
config/server-2.properties:
broker.id=2
hostname = localhost
port = 9094
log.dirs=/usr/local/kafka/logs/kafka-log-2
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
4.2启动kafka集群：
bin/kafka-server-start.sh config/server.properties &bin/kafka-server-start.sh config/server-1.properties &bin/kafka-server-start.sh config/server-2.properties &
lsof -i tcp:9092 lsof -i tcp:9093 lsof -i tcp:9094分别观察端口情况
4.3 测试集群
- 创建一个拥有3个副本的集群
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
- 查看每个节点信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
- 生产信息：
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
- 消费消息：
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic my-replicated-topic --from-beginning
- 停止kafka集群：bin/kafka-server-stop.sh
欢迎大家扫码关注我的微信公众号，与大家一起分享技术与成长中的故事。
我的微信公众号.jpg
