一、安装环境
1.多台Linux服务器
2.已经安装好zookeeper的集群(安装zookeeper的步骤可以查看前篇文章)
3.下载kafka
或者直接在服务器上面下载:
1
wgethttp://apache.opencas.org/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
二、安装kafka
创建项目目录:
创建kafka项目目录,最好是将多有的集群项目都放在一个目录下面,方便管理各类项目。博主是将所有的集群项目都放在/opt下面。
1
2mkdir/opt/kafka#创建kafka项目目录
mkdir /opt/kafka/kafkalogs #创建kafka项目的日志目录
安装kafka:
1
2
3tar xzvf kafka-0.8.0-beta1-src.tgz -C/opt/kafka/#解压kafka到指定目录下
cd /opt/kafka/ #到解压kafka的目录
mv kafka-0.8.0-beta1-src kafka #重命名
三、修改配置文件
配置文件目录:
kafka的配置文件都存放在/opt/kafka/kafka/config/
1
2cd/opt/kafka/kafka/config/
ll#查看kafka所有的配置文件
修改配置文件:
主要修改server.properties:
broker.id=0#当前机器在集群中的唯一标识,和zookeeper的myid性质一样
port=19092#当前kafka对外提供服务的端口默认是9092
三、开启并使用kafka
开启kafka服务:
1.首先要确保已经开启了zookeeper服务:
1
/opt/zookeeper/zookeeper/bin/zkServer.sh start#开启zookeeper服务
2.后台开启kafka:
1
2nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties & #后台挂起kafka服务 nohup &
ps -ef | grepjava| grep -v grep #查看当前的java进程,zookeeper与kafka都是基于java
3.kafka基本操作:
创建topics
1
/opt/kafka/bin/kafka-topics.sh --zookeeper 192.168.221.138:2181 --create --topictest--replication-factor 1 --partition 1#新建主题 连接zookeeper --create 创建主题 --topic 主题名 --replication-factor 副本因子 --partitions 分为几个区
发消息
1
bin/kafka-console-producer.sh --broker-list localhost:9092--topic test >/dev/null#producer发送消息 发送给broker
收消息
1
bin/kafka-console-consumer.sh --zookeeper localhost:2181--topic test --from-beginning2>/dev/null#consumer接收消息 连接zookeeper服务器 --from-beginning 接收历史消息
四、总结
Note:
1.开启kafka之前必须要开启zookeeper
2.注意生产者连接broker端口号默认9092;消费者连接zookeeper端口号默认2181
3.创建主题时,设置分区为集群服务器数的两倍或多倍,可有效避免消息发送和接收的读写热点
^f�[?m