ELK官网： https://www.elastic.co/

**安装要求：

1.java1.8以上版本

2. elasticsearch , logstash, kibana要安装同一个版本号

1. 搭建ELK服务器

1.1 要先删除1.7版的JAVA包，并安装1.8版。参考以下网址完成。

http://blog.csdn.net/yony2011/article/details/50313223

1.2 客户端需要安装一个插件filebeat，直接解压即可使用。

1.3 cd /usr/local/filebeat/ 修改里面的yml文件。

- input_type: log   # Paths that should be crawled and fetched. Glob based paths.   paths:     #- /var/log/*.log      - /yoururl/weixin_access.log

output.logstash:   # The Logstash hosts   # hosts: ["localhost:5044"]   hosts: ["logstaship:5044"]   index: pro_weixin_accesslog

启动命令

nohup /usr/local/filebeat/filebeat -e -c /usr/local/filebeat/filebeat-accesslog.yml -d "publish" > /dev/null 2>&1 &

1.4 服务器端安装logstash直接解压即可使用, 在 /usr/local/logstash/bin内新建logstash-access.conf。以下filter处是用正则拆分日志内容。可在http://grokdebug.herokuapp.com上面做拆分正则脚本调试。

filter {   grok {        match => { "message" => "%{IP:client} \| - \| \[%{HTTPDATE:logdate}\] \| \"%{WORD:method} %{URIPATHPARAM:request_url} %{WORD:method1}/%{NUMBER:nil}\" \| %{NUMBER:status} \| %{NUMBER:bytes} \|%{xsx:unknown}\| \"%{xyh:userinfo}" }                               }

启动命令

nohup /usr/local/logstash/bin/logstash -f /usr/local/logstash/bin/logstash-access.conf > /dev/null 2>&1 &

1.5 服务器端安装elasticsearch和kibana，也是直接解压可用。启动命令如下：

su elasticsearch

nohup /usr/local/elasticsearch/bin/elasticsearch  > /dev/null 2>&1&

nohup /usr/local/kibana/bin/kibana > /dev/null 2>&1&

2.设置自动备份和清理备份

2.1 配置文件必须添加如下参数

path.repo:  /mnt/backups/es_mybak

2.2  创建备份仓库es_mybak，授777权限，或者转给用户ELK

2.3 备份命令

2.3.1.创建备份仓库

curl -u elasticaccount:password -XPUT 'localhost:9200/_snapshot/EsBackup' -d '{"type":"fs","settings": {"location":"/data/backups/es_mybak"}}'

2.3.2.查询备份仓库

curl -u elasticaccount:password -XGET 'localhost:9200/_snapshot?pretty'

2.3.3.备份部分索引

curl -u elasticaccount:password -XPUT 'localhost:9200/_snapshot/EsBackup/snapshot_pro_weixin_accesslog-2017.06.18' -d '{"indices":"pro_weixin_accesslog-2017.06.18"}'

2.3.4.查看备份快照

curl -u elasticaccount:password -XGET 'localhost:9200/_snapshot/EsBackup/snapshot_*?pretty'

curl -u elasticaccount:password -XGET 'localhost:9200/_snapshot/EsBackup/snapshot_pro_weixin_accesslog-2017.06.18?pretty'

2.3.5.删除索引

curl -u elasticaccount:password -XDELETE 'localhost:9200/pro_weixin_accesslog-2017.06.18?pretty'

2.3.6.根据快照恢复索引

curl -u elasticaccount:password -XPOST 'localhost:9200/_snapshot/EsBackup/snapshot_pro_weixin_accesslog-2017.06.18/_restore'

2.3.7.删除快照

curl -u elasticaccount:password -XDELETE 'localhost:9200/_snapshot/EsBackup/snapshot_pro_weixin_accesslog-2017.06.18'

2.4 使用上述命令做成SHELL脚本，再结合JENKINS定时构建。