flume是一个日志收集系统,本文件展示如何在CentOS7当中安装和部署flume服务。
1 系统、软件以及前提约束
- CentOS 7 64 工作站 作者的机子ip是192.168.100.200,请读者根据自己实际情况设置
- jdk1.8.0_162 已经安装完毕,并配置环境变量,作者的环境变量为/root/jdk1.8.0_162,请读者根据自己实际情况设置
jdk安装 //www.greatytc.com/p/08b94347bb8a - flume-1.8.0
flume 下载链接:https://pan.baidu.com/s/1c_skDYabCRSkS5hRUB6lFQ
提取码:a00t
apache-flume-1.8.0-bin.tar.gz已上传到192.168.100.200的/root目录下 - xshell客户端
- 为去除权限对操作的影响,所有操作都以root进行
2 操作
- 1 使用xshell登录到192.168.100.200
- 2 解压apache-flume-1.8.0-bin.tar.gz
# 进入家目录
cd
# 解压
tar -xvf apache-flume-1.8.0-bin.tar.gz
- 3 拷贝配置文件
# 进入flume的配置目录
cd /root/apache-flume-1.8.0-bin/conf
# 拷贝配置文件
cp flume-conf.properties.template flume-conf.properties
- 4 修改 flume-conf.properties内容如下:
# 定义一个服务名称为a1,source,channel,sink分别为r1, c1, k1
a1.sources = r1
a1.channels = c1
a1.sinks = k1
# r1监听8888端口的网络状态
a1.sources.r1.type = netcat
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 8888
# k1的输入时日志形式
a1.sinks.k1.type = logger
# c1类型为内存
a1.channels.c1.type = memory
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
- 5 测试
# 进入flume启动目录
cd /root/apache-flume-1.8.0-bin/bin
# 启动flume并申明a1服务
./flume-ng agent -c ../conf -f ../conf/flume-conf.properties -n a1 -Dflume.root.logger=INFO,console
# 在使用xshell打开一个窗口登录到192.168.100.200,执行以下命令后,不断打印字符串,回车【也可以使用windows中的telnet】
nc localhost 8888
具体操作如下图所示:
flume监听8888端口
以上就是通过flume监听端口的实现过程。