ELK搭建

环境:

10.95.196.143

CentOS Linux release 7.4.1708 (Core)

准备 

elasticsearch-6.3.2.tar.gz

kibana-6.3.2-linux-x86_64.tar.gz

logstash-6.3.2.tar.gz




设置内核参数 

vi /etc/sysctl.conf 

# 增加以下参数 

vm.max_map_count=655360 

执行以下命令,确保生效配置生效: 

sysctl -p 

Tips:max_map_count

设置资源参数 

vi /etc/security/limits.conf 

# 修改 

* soft nofile 65536 

* hard nofile 131072 

* soft nproc 65536 

* hard nproc 131072 

Tips:limits.conf 配置

设置用户资源参数 

vi /etc/security/limits.d/20-nproc.conf 

# 设置elk用户参数 

elk soft nproc 65536



从官网下载安装文件 

ftp到内网服务器上

创建 elk用户用户组:

useradd elk

创建数据文件以及日志文件:

mkdir -pv /home/elk/{data,logs}

把安装文件mv 到/home/elk/

mv elasticsearch-6.3.2.tar.gz /home/elk/ 

mv kibana-6.3.2-linux-x86_64.tar.gz /home/elk/

mv logstash-6.3.2.tar.gz /home/elk/

chown -R elk:elk /home/elk/ # 

su - elk

cd /home/elk

解压安装文件

tar -zxvf elasticsearch-6.3.2.tar.gz

tar -zxvf  kibana-6.3.2-linux-x86_64.tar.gz

tar -zxvf logstash-6.3.2.tar.gz

tar -zxvf filebeat-6.3.2-linux-x86_64.tar.gz


安装elasticsearch

cd elasticsearch-6.3.2

# 这里指定的是集群名称,需要修改为对应的,开启了自发现功能后,ES会按照此集群名称进行集群发现

cluster.name: elk

node.name: node-1

# 数据目录

path.data: /home/elk/data

# log 目录

path.logs: /home/elk/logs

# 修改一下ES的监听地址,这样别的机器也可以访问

vnetwork.host: 0.0.0.0

# 默认的端口号

http.port: 9200

# 填写你要监视的端口,可以是多个

discovery.zen.ping.unicast.hosts: ["10.95.196.143","10.95.196.144"]

# discovery.zen.minimum_master_nodes: 3

# enable cors,保证_site类的插件可以访问es

http.cors.enabled: true

http.cors.allow-origin: “*”

# Centos6不支持SecComp,而ES5.2.0默认bootstrap.system_call_filter为true进行检测,所以导致检测失败,失败后直接导致ES不能启动。

bootstrap.memory_lock: false

bootstrap.system_call_filter: fals



bin/elasticsearch -d #-d 为保持后台运行 

使用curl 10.95.196.143:9200 来检查ES是否启动成功,成功显示如下:

{

  "name" : "node-1",

  "cluster_name" : "elk",

  "cluster_uuid" : "EMr-sYRATCKPHyaDeRSHJQ",

  "version" : {

    "number" : "6.3.2",

    "build_flavor" : "default",

    "build_type" : "tar",

    "build_hash" : "053779d",

    "build_date" : "2018-07-20T05:20:23.451332Z",

    "build_snapshot" : false,

    "lucene_version" : "7.3.1",

    "minimum_wire_compatibility_version" : "5.6.0",

    "minimum_index_compatibility_version" : "5.0.0"

  },

  "tagline" : "You Know, for Search"

}

如果失败则执行bin/elasticsearch 查看打印的信息找到失败的原因



logstash的安装 

logstash的安装就非常简单了,把下载的文件解压到相应的目录下,然后根据你的需求写一个配置文件,再启动就ok了,这里面我贴出来一个简单的配置文件:

cd /home/elk/logstash-6.3.2

vi config/test.conf# 没有这个文件则创建,创建什么文件名无所谓,后面会根据这个文件来启动logstash

input {

        file {

                path => ["/tmp/test_data"]

                codec => json {

                        charset => "UTF-8"

                }

        }

}

output {

        elasticsearch {

                hosts => ["10.95.196.143:9200"]

                index => "lalala-%{+YYYY.MM.dd}"

                document_type => "test"

                #user => "elastic"

                #password => "changeme"

        }

}

保存并退出,指定这个文件来启动logstash

nohup bin/logstash -f config/test.conf & >run.log& // 后台运行logstash


启动完成之后因为没有安装kibana,展示不出来logstash收集的数据,所有接着安装kibana



三、kibana的安装 

kibana的安装更简单了,解压缩之后直接启动程序即可。这个前提条件是elasticsearch和kibana是在一台服务器里安装的,如果elasticsearch在其他服务器里面安装则需要修改相应的配置,我想没有多少人会分开安装吧?下面是启动命令:

cd /home/elk/kibana-6.3.2-linux-x86_64

nohup ./bin/kibana -H 0.0.0.0 & >run.log &

ok,稍等一会则完成启动,可以看出kibana的页面是越做越好看

通过内网的浏览器访问 http://10.95.196.143:5601 可以访问kibana图形页面

之前在logstash的test.conf文件中定义了日志的目录,现在添加一些数据以便查看

vim /tmp/test_data

{"user":"test","age":"11"}

{"user":"test1","age":"12"}

{"user":"test2","age":"13"}

{"user":"test3","age":"14"}

{"user":"test4","age":"15"}

{"user":"test5","age":"16"}

{"user":"test6","age":"17"}

{"user":"test7","age":"18"}

{"user":"test8","age":"19"}

{"user":"test9","age":"20"}


日志文件中已经填入内容,这时访问kibana,来创建索引 



这时会显示在test.conf中定义的index,添加索引是支持正则的,所以在Index pattern中可以填入“lalala-*”,像如下图片一样,然后点击Next step


然后选择@timestamp,选择这个是为每个字段标记时间,可以让收集到的数据在时间轴上展示,到此添加一个index完成 


点击Discover,选择咱们的index,这时右侧就展示了收集到的所有数据







参考  https://blog.csdn.net/leo15561050003/article/details/80896509

https://blog.csdn.net/ViewYw/article/details/78873066

http://www.cnblogs.com/xishuai/p/elk-logstash-filebeat.html

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,393评论 5 467
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,790评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,391评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,703评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,613评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,003评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,507评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,158评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,300评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,256评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,274评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,984评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,569评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,662评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,899评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,268评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,840评论 2 339

推荐阅读更多精彩内容