背景：当前系统后台为微服务架构，多结点分布式的日志文件落在各自结点的统一路径，当开发，测试，产品相关人员想查看某次请求执行的详细日志，或者系统异常进行排查，开发，运维同学需要逐个登陆与服务相关的每个服务器结点，进行日志查询和场景复现，工作重复冗余，而且误漏掉某个结点可能导致分析失败。
问：核心系统服务请求执行日志或请求异常场景复现一共分几步？
1.测试场景复现
2.登陆相关服务器节点
3.进入业务日志目录
4.在日志文件搜索关键字
5.统计相关服务日志，重复2，3，4，5操作
预估操作步骤，服务结点数N*4，每增加一个结点都将增加一倍的重复操作，如果漏掉某个结点或日志，可能导致错误场景复现失败，前功尽弃...
为了解决该痛点，简化日志查询，快速定位日志详细信息，通过开源工具调研，选择ELK作为项目的日志监控及搜索系统，在服务端分布式部署logstash，elasticsearch，kibana，通过logstash收集各个结点的业务日志，通过elasticsearch搜索引擎进行汇总分析，通过kibana进行页面搜索交互，高效解决登陆不同服务器查看相关日志的痛点，使问题查询更方便，工作更高效，让繁琐的事情变的简单。
ELK相关介绍及日志分析系统的搭建
ELK Stack 是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。
ELK Stack成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack 具有如下几个优点：
• 处理方式灵活。Elasticsearch 是实时全文索引，不需要像 storm 那样预先编程才能使用；
• 配置简易上手。Elasticsearch 全部采用 JSON 接口，Logstash 是 Ruby DSL 设计，都是目前业界最通用的配置语法设计；
• 检索性能高效。虽然每次查询都是实时计算，但是优秀的设计和实现基本可以达到全天数据查询的秒级响应；
• 集群线性扩展。不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的；
• 前端操作炫丽。Kibana 界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。
官网地址:https://www.elastic.co/cn/
Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ），它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。
ELK架构图：
服务器环境 ： x86_64，Enterprise Linux Server
软件版本 ： ElasticSearch 6.8.6 Logstash 6.8.6 Kibana 6.8.6 JDK 1.8.0_181
官方下载不够稳定，耗时长，资源在csdn已经上传，链接如下：
Kibana下载
https://download.csdn.net/download/wxd89/12252638
ElasticSearch下载
https://download.csdn.net/download/wxd89/12252631
Logstash下载
https://download.csdn.net/download/wxd89/12252620
官方最高版本当前版本号7.6.X，jdk要求java11，在调研阶段，使用适配当前jdk标准的官方推荐版本6.8.6，各个组件版本适配且调试稳定，网上大部分教程都在5.x，6.2.x系列，从保持较新版本，适配当前的业务考虑，选择6.8.6作为ELK Stack的应用部署版本，后续可随着依赖组件版本的更新进行升级。
1、 ElasticSearch安装及部署
1.1 下载ElasticSearch，通过官网下载安装压缩包 elasticsearch-6.8.6.tar.gz
cd /usr/local/app/ #服务端存放应用安装程序路径
tar -zxvf elasticsearch-6.8.6.tar.gz
1.2 创建用户，并将ElasticSearch安装权限归新用户所有(如果你本就是组内用户，忽略此步骤)
useradd query
passwd query
chown -R query:query elasticsearch-6.8.6/
1.3 修改配置
vi config/elasticsearch.yml
network.host: 172.168.160.195 #（你自己的服务器ip，以172.168.160.195为例）
discovery.zen.ping.unicast.hosts: ["172.168.160.194", "172.168.160.195"] # 如果是集群部署增加其它结点ip，单实例部署忽略此配置
1.4 启动
./bin/elasticsearch -d
1.5 测试
出现如上图一样的响应信息说明ES安装成功。
2、搭建LogStash
2.1 测试logstash
执行logstash控制台输入与输出指令：
logstash -e 'input { stdin { } } output { stdout {} }'
2.2 新增data_log.conf，配置要收集的日志文件目录，支持正则表达式，配置要输出的ES服务
input{
file{
#配置监听收集的文件
path => "/data/log/*.log"
#排除不想监听的文件
exclude => "/data/log/*20*.log" start_position => "beginning"
#添加自定义的字段
add_field => {"host"=>"172.168.160.194"}
#增加标签
tags => "172.168.160.194"
}
}
output {
#将输出保存到elasticsearch，如果没有匹配到时间就不保存，因为日志里的网址参数有些带有换行 elasticsearch {
hosts => "172.168.160.194:9200"
index => "credit-decision-log"
}
}
2.3 后台启动
./logstash -f logstash_data_log.conf &
3、搭建Kibana
3.1 修改config/kibana.yml
# The URLs of the Elasticsearch instances to use for all your queries.
elasticsearch.hosts: ["http://your_es_ip:9200"]
3.2 启动kibana后台启动成功以后会监听5601端口
./kibana &
