在Docker环境搭建Kafka server
使用的镜像：wurstmeister/zookeeper、wurstmeister/kafka
准备工作
- 安装docker-compose
- 在任意路径（本例中为/data/docker/kafka-server）下创建docker-compose.yml
样例：docker-compose.yml
version: '2'
services:
zookeeper:
image: wurstmeister/zookeeper
ports:
- "2181:2181"
kafka:
image: wurstmeister/kafka
ports:
- "9092"
environment:
KAFKA_ADVERTISED_HOST_NAME: 192.168.100.129
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
volumes:
- /var/run/docker.sock:/var/run/docker.sock
nginx:
image: nginx
ports:
- "9094:9094"
links:
- kafka
volumes:
- /data/docker/kafka-server/nginx.conf:/etc/nginx/nginx.conf
注意nginx的数据卷配置，指向下一步的nginx配置文件
在相同路径下放置一个nginx配置文件，并在其中加入以下配置：
stream {
upstream kafka {
server kafkaserver_kafka_1:9092;
server kafkaserver_kafka_2:9092;
server kafkaserver_kafka_3:9092;
}
server {
listen 9094;
proxy_pass kafka;
}
}
其中upstream的内容根据实际要创建的集群数量和名称来定，并非不变的，目前也没有什么办法可以绕过这个配置
创建和启动容器
进入docker-compose.yml所在路径，执行：
nohup docker-compose up --scale kafka=3 &
这里scale表示集群中实例的数量，若不使用此参数则为单实例，本例中设置为kafka=3表示集群包含3个kafka实例
执行成功后即可使用docker ps看到自动创建了nginx、zookeeper和kafka容器，确认运行状态是否正常。
本例中可以看到创建了3个kafka实例，对外映射端口号分别为9032、9033、9034，访问其中任意一个端口都是对集群的访问，没有差别。但每次重启容器，这几个端口都会变化，因此不推荐使用。
同时因为使用了nginx，并配置了对三个kafka实例的反向代理，对外映射了唯一一个固定端口9094，因此实际使用推荐使用这个9094端口，即使容器重启或重建，这个端口也不会变化。便于应用访问。
普通的docker 搭建
docker run -it -d --restart=always -p 2181:2181 -p 2888:2888 -p 3888:3888 --name=zookeeper \
-v /home/zookeeper/logs:/logs \
-v /home/zookeeper/conf:/conf \
-v /home/zookeeper/data:/data \
-v /etc/localtime:/etc/localtime \
-v /etc/timezone:/etc/timezone \
-d zookeeper:latest
docker run -it -d --restart=always -p 9092:9092 --name kafka \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.84.128:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.84.128:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
-v /home/kafka/config:/opt/kafka_2.12-2.1.1/config \
-v /home/kafka/logs:/opt/kafka_2.12-2.1.1/logs \
-v /etc/localtime:/etc/localtime \
-v /etc/timezone:/etc/timezone \
-d wurstmeister/kafka:latest
因为使用了挂载，所以需要把映射对应的路径中的配置文件先从docker容器中copy出来
然后再进行挂载，否则直接执行，docker是无法启动成功的
日常维护
关闭集群可以使用docker-compose stop，也可以使用docker原生命令挨个关闭容器。
启动集群仍然使用docker-compose up，也可以使用docker原生命令挨个启动容器。需要注意由于kafka依赖zookeeper才能运行，所以要先启动zookeeper
docker-compose其他的命令也可以使用，只要配置文件正确，就可以保证整个服务正常运行
注意事项
本例中配置了3个kafka实例组成的集群，理论上来说，其中任意一个节点宕机应不影响整个集群的运行。
然而实际上，由于使用了nginx的固定配置做负载均衡，再加上kafka的客户端的连接管理实现方式问题，导致任意一个节点宕机都可能使“部分”生产者或消费者无法连接，具体哪些不好用是随机的。
因此当前的集群搭建方案仍不是最终方案，将继续学习文档，可能利用docker-swarm实现更合理的集群。
