kafka命令行的管理使用

启动kafka集群

首先要启动好kafka集群
1、集群时间同步
2、启动zookeeper集群
3、启动kafka集群
启动kafka集群的方式就是在集群中每台机器kafka目录下运行
nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &


创建topic

kafka-topics.sh

kafka发出消息和接收消息都是基于topic,所以要先创建一个topic,才能向里面发消息。创建topic的脚本:


直接运行kafka-topics.sh或者kafka-topics.sh --help可以看到帮助。

./kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper node-1:2181,node-2:2181,node-3:2181

--create 表示创建topic
--partitions 表示指定我们topic的分区数
--replication-factor 指定副本数
--topic 指定topic的名字
--zookeeper 指定zookeeper的地址
topic的信息保存在zookeeper中

topic创建好了,就可以向里边发送消息了。


发送消息

kafka-console-producer.sh

通过命令行实现数据的发送 producer 生产者
kafka-console-producer.sh就是用来测试用的脚本,可以模拟kafka消息的发送端。
直接运行kafka-console-producer.sh查看帮助


REQUIRED的选项是必须要有的。

 ./kafka-console-producer.sh --broker-list node-1:9092,node-2:9092,node-3:9092 --topic test


server.properties文件中的配置,默认监听端口是9092

--broker-list 指定我们kafka集群的地址
--topic 指定我们的消息发送到哪个topic里面去

输入命令后回车,会出现一个尖括号。在后边输入信息回车,就会发送出去输入的信息。

接受消息

kafka-console-consumer.sh

通过命令行实现数据的接收 consumer 消费者


./kafka-console-consumer.sh --bootstrap-server node-1:9092,node-2:9092,node-3:9092 --from-beginning --topic test

--bootstrap-server 表示我们的kafak集群的地址,在旧版本中使用的是--zookeeper参数,两者至少使用一个
--from-beginning 表示我们从最开始的数据进行消费
--topic指定我们topic的名字

在producer端发送数据,在consumer端可以收到数据


node-1

node-1

node-2

后边两个consumer里有些信息是我之前发送的,所以在node-1的producer中没有显示。这里,在node-1和node-2上都启动了consumer,由于设置了参数--from-beginning,所以之前发送过的所有的数据都接受到了,而且顺序不一样,注意吃饭了吗那一行消息。但是所有的消息都接受到了,说明这些消息都保存在kafka集群中,而且支持中文。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方...
    Alukar阅读 3,105评论 0 43
  • 本文转载自http://dataunion.org/?p=9307 背景介绍Kafka简介Kafka是一种分布式的...
    Bottle丶Fish阅读 5,502评论 0 34
  • Kafka入门经典教程-Kafka-about云开发 http://www.aboutyun.com/threa...
    葡萄喃喃呓语阅读 10,880评论 4 54
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,991评论 19 139
  • 一、入门1、简介Kafka is a distributed,partitioned,replicated com...
    HxLiang阅读 3,446评论 0 9