ELK是Elasticsearch+Logstash+Kibana的简称
ElasticSearch是一个基于Lucene的分布式全文搜索引擎，提供 RESTful API进行数据读写
Logstash是一个收集，处理和转发事件和日志消息的工具
Kibana是Elasticsearch的开源数据可视化插件，为查看存储在ElasticSearch提供了友好的Web界面，并提供了条形图，线条和散点图，饼图和地图等分析工具
总的来说，ElasticSearch负责存储数据，Logstash负责收集日志，并将日志格式化后写入ElasticSearch，Kibana提供可视化访问ElasticSearch数据的功能。
应用将日志按照约定的Key写入Redis，Logstash从Redis中读取日志信息写入ElasticSearch集群。Kibana读取ElasticSearch中的日志，并在Web页面中以表格/图表的形式展示。
服务器
一共准备3台CentOS7 Server
服务器名IP说明
es1192.168.1.31部署ElasticSearch主节点
es2192.168.1.32部署ElasticSearch从节点
elk192.168.1.21部署Logstash + Kibana + Redis
这里为了节省，只部署2台Elasticsearch，并将Logstash + Kibana + Redis部署在了一台机器上。
如果在生产环境部署，可以按照自己的需求调整。
软件环境
项说明
Linux ServerCentOS 7
Elasticsearch6.0.0
Logstash6.0.0
Kibana6.0.0
Redis4.0
JDK1.8
由于Elasticsearch、Logstash、Kibana均不能以root账号运行。
但是Linux对非root账号可并发操作的文件、线程都有限制。
所以，部署ELK相关的机器都要调整：
修改文件限制
# 修改系统文件vi /etc/security/limits.conf#增加的内容* soft nofile 65536* hard nofile 65536* soft nproc 2048* hard nproc 4096
调整进程数
#修改系统文件vi /etc/security/limits.d/20-nproc.conf#调整成以下配置* soft nproc 4096root soft nproc unlimited
调整虚拟内存&最大并发连接
#修改系统文件vi /etc/sysctl.conf#增加的内容vm.max_map_count=655360fs.file-max=655360
保存之后执行 sysctl -p 生效
JDK8安装
CentO安装JDK8：https://ken.io/note/centos-java-setup
创建ELK专用用户
useradd elk
创建ELK相关目录并赋权
#创建ELK APP目录mkdir /usr/elk#创建ELK 数据目录mkdir /elk#更改目录Ownerchown -R elk:elk /usr/elkchown -R elk:elk /elk
下载ELK包并解压
https://www.elastic.co/downloads
#打开文件夹cd/home/download#下载wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.tar.gzwget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.tar.gzwget wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-linux-x86_64.tar.gz#解压tar -zvxf elasticsearch-6.0.0.tar.gztar -zvxf logstash-6.0.0.tar.gztar -zvxf kibana-6.0.0-linux-x86_64.tar.gz
本次一共要部署两个Elasticsearch节点，所有文中没有指定机器的操作都表示每个Elasticsearch机器都要执行该操作
移动Elasticsearch到统一目录
#移动目录mv /home/download/elasticsearch-6.0.0 /usr/elk#赋权chown -R elk:elk /usr/elk/elasticsearch-6.0.0/
开放端口
#增加端口firewall-cmd --add-port=9200/tcp --permanentfirewall-cmd --add-port=9300/tcp --permanent#重新加载防火墙规则firewall-cmd --reload
切换账号
#账号切换到 elksu - elk
数据&日志目录
创建Elasticsearch主目录mkdir /elk/es#创建Elasticsearch数据目录mkdir /elk/es/data#创建Elasticsearch日志目录mkdir /elk/es/logs
修改配置
#打开目录cd/usr/elk/elasticsearch-6.0.0#修改配置vi config/elasticsearch.yml
主节点配置（192.168.1.31）
cluster.name: es node.name: es1path.data: /elk/es/datapath.logs: /elk/es/logsnetwork.host: 192.168.1.31http.port: 9200transport.tcp.port: 9300node.master:truenode.data:truediscovery.zen.ping.unicast.hosts: ["192.168.1.31:9300","192.168.1.32:9300"]discovery.zen.minimum_master_nodes: 1
从节点配置（192.168.1.32）
cluster.name: es node.name: es2path.data: /elk/es/datapath.logs: /elk/es/logsnetwork.host: 192.168.1.32http.port: 9200transport.tcp.port: 9300node.master:falsenode.data:truediscovery.zen.ping.unicast.hosts: ["192.168.1.31:9300","192.168.1.32:9300"]discovery.zen.minimum_master_nodes: 1
配置项说明
项说明
cluster.name集群名
node.name节点名
path.data数据保存目录
path.logs日志保存目录
network.host节点host/ip
http.portHTTP访问端口
transport.tcp.portTCP传输端口
node.master是否允许作为主节点
node.data是否保存数据
discovery.zen.ping.unicast.hosts集群中的主节点的初始列表,当节点(主节点或者数据节点)启动时使用这个列表进行探测
discovery.zen.minimum_master_nodes主节点个数
启动
#进入elasticsearch根目录cd/usr/elk/elasticsearch-6.0.0#启动./bin/elasticsearch
查看健康状态
curl http://192.168.1.31:9200/_cluster/health
如果返回status=green表示正常
{"cluster_name":"esc","status":"green","timed_out":false,"number_of_nodes":2,"number_of_data_nodes":2,"active_primary_shards":0,"active_shards":0,"relocating_shards":0,"initializing_shards":0,"unassigned_shards":0,"delayed_unassigned_shards":0,"number_of_pending_tasks":0,"number_of_in_flight_fetch":0,"task_max_waiting_in_queue_millis":0,"active_shards_percent_as_number":100.0}
部署Redis
Redis4 安装与配置：https://ken.io/note/centos7-redis4-setup
由于本次核心是ELK搭建，所以ken.io偷懒，Redis没有部署集群，采用的单节点。
移动Logstash到统一目录
#移动目录mv /home/download/logstash-6.0.0 /usr/elk#赋权chown -R elk:elk /usr/elk/logstash-6.0.0/
切换账号
#账号切换到 elksu - elk
数据&日志目录
#创建Logstash主目录mkdir /elk/logstash#创建Logstash数据目录mkdir /elk/logstash/data#创建Logstash日志目录mkdir /elk/logstash/logs
配置数据&日志目录
#打开目录cd/usr/elk/logstash-6.0.0#修改配置vi config/logstash.yml#增加以下内容path.data: /elk/logstash/datapath.logs: /elk/logstash/logs
配置Redis&Elasticsearch
vi config/input-output.conf#配置内容input { redis { data_type =>"list"key =>"logstash"host =>"192.168.1.21"port => 6379 threads => 5 codec =>"json"}}filter {}output { elasticsearch { hosts => ["192.168.1.31:9200","192.168.1.32:9200"] index =>"logstash-%{type}-%{+YYYY.MM.dd}"document_type =>"%{type}"} stdout { }}
该配置就是从redis中读取数据，然后写入指定的elasticsearch
Redis核心配置项说明：
配置项说明
data_type => “list”数据类型为list
key => “logstash”缓存key为：logstash
codec => “json”数据格式为：json
启动
#进入Logstash根目录cd/usr/elk/logstash-6.0.0#启动./bin/logstash -f config/input-output.conf
启动成功后，在启动输出的最后一行会看到如下信息：
[INFO ][logstash.pipeline ] Pipeline started {"pipeline.id"=>"main"}[INFO ][logstash.agent ] Pipelines running {:count=>1, :pipelines=>["main"]}
移动Kibana到统一目录
#移动目录mv /home/download/kibana-6.0.0-linux-x86_64 /usr/elk/kibana-6.0.0#赋权chown -R elk:elk /usr/elk/kibana-6.0.0/
开放端口
#增加端口firewall-cmd --add-port=5601/tcp --permanent#重新加载防火墙规则firewall-cmd --reload
切换账号
#账号切换到 elksu - elk
修改配置
#进入kibana-6.0.0根目录cd/usr/elk/kibana-6.0.0#修改配置vi config/kibana.yml#增加以下内容server.port: 5601server.host:"192.168.1.21"elasticsearch.url:"http://192.168.1.31:9200"
启动
#进入kibana-6.0.0根目录cd /usr/elk/kibana-6.0.0#启动./bin/kibana
访问
浏览器访问： 192.168.1.21:5601
警告提示：No default index pattern. You must select or create one to continue.
错误提示：Unable to fetch mapping. do you have indices matching the pattern?
不用担心，这是因为还没有写入日志
日历写入的话，写入到logstash监听的redis即可。
数据类型之前在/usr/elk/logstash-6.0.0/config/input-uput.conf中有配置
redis命令方式
#启动redis客户端#执行以下命令lpushlogstash '{"host":"127.0.0.1","type":"logtest","message":"hello"}'
Java代码批量写入（引入Jedis）
Jedis jedis =newJedis("192.168.1.21",6379);for(inti =0; i <1000; i++) { jedis.lpush("logstash","{\"host\":\"127.0.0.1\",\"type\":\"logtest\",\"message\":\""+ i +"\"}");}
浏览器访问：192.168.1.21:5601
此时会提示： Configure an index pattern
直接点击create即可
浏览器访问：192.168.1.21:5601/app/kibana#/discover 即可查看日志
大功告成！
https://segmentfault.com/a/1190000002972420
ELK开机启动，需要学习下以下知识
nohup命令使用：https://www.ibm.com/developerworks/cn/linux/l-cn-nohup/index.html
自定义系统服务，可以参考Redis的开机启动：https://ken.io/note/centos7-redis4-setup
本文由 ken.io 创作，采用CC BY 3.0 CN协议 进行许可。 可自由转载、引用、甚至修改，但需署名作者且注明出处。
