79 - 用ELK进行日志管理

日志的重要性

  • 为什么重要
    • 运维：医生给病人看病。日志就是病人对自己的描述
    • 恶意攻击，恶意注册，刷单，恶意密码猜测
  • 挑战
    • 关注点很多，任何一个点都可能引起问题
    • 日志分散在很多机器，出了问题时，才发现日志被删了
    • 很多运维人员是消防员，哪里有问题就去哪里
日志的重要性

集中化日志管理

日志管理

Filebeat简介

  • 简介
    • A log data shiper for local files
    • 读取日志文件，Filebeat不做数据的解析，加工处理
      • 日志是非结构化数据
      • 需要进行处理后，以结构化的方式保存到Elasticsearch
    • 保证数据至少被读取一次
    • 处理多行数据，解析JSON格式，简单的过滤
filebeat简介

Filebeat执行流程

  • 定义数据采集：Prospector配置。通过filebeat.yml
  • 建立数据模型：Index Template
  • 建立数据处理流程：Ingest Pipeline
  • 存储并提供可视化分析：ES + Kibana Dashboard

kibana实战

./filebeat modules list
./filebeat modules enable system
./filebeat modules enable nginx
./filebeat setupt --dashboards
cd module/system #进行相应查看
./filebeat -e  #开启监控采集
  • 利用kibana自带的dashboard，直接使用相关日志的dashboard
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容