基于ELK的iis日志可视化

0x01 IIS日志格式

日志样本

 [
  '2017-06-23', 
  '00:38:23', 
  'W3SVC2007378449',
  'ss.ss.ss.ss', 
  'GET',
  '/xxxx/', 
  '-', 
  '80', 
  '-', 
  'cc.cc.cc.cc', 
  'Mozilla/5.0+(compatible;+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0)',  
  '404',
  '0', 
  '2\r\n'
]

数组对应字段的意义：

0 - 日期
1 - 时间
2 - 服务名
3 - 服务器IP
4 - 请求方式
5 - 请求访问页面
6 - 查询字符串
7 - 端口
8 - 无
9 - 客户端IP
10 - 用户代理
11 - 协议返回状态
12 - 无
13 - 无

0x02 解析IIS日志写入ELK

遍历IIS日志目录（这里为iis），通过split划分日志（建议使用正则，split是偷懒的方法），将日志信息写入redis。

下面附上思路代码analyze_log.py：

#coding: utf8
from datetime import datetime
import redis
import os
import re
import sys
import json
reload(sys)
sys.setdefaultencoding('utf-8')
<br />
def handle_time(dat, tim):
    format_time = dat + ' ' + tim
    struct_time = datetime.strptime(format_time, '%Y-%m-%d %X')
    return struct_time
<br />
def getPool():
    rhost = "localhost"
    rport = 6379
    rpassword = "redis"
    rdb = 1
    try:
        pool = redis.ConnectionPool(host=rhost, port=rport, password=rpassword, db=rdb)
        return redis.Redis(connection_pool=pool)
    except Exception as e:
        print 'redis connect error'
        return 'None'
<br />
def getLogs(dirn, fpath, fn):
    try:
        f = open(fpath+fn)
        redis_pool = getPool()
        for v in f.readlines():
            v_arr = v.split(" ")
            #iis日志样本长度14
            if len(v_arr) == 14:
                timestamp = handle_time(v_arr[0], v_arr[1])
                doc = {
                    "create_time": v_arr[0] + ' ' + v_arr[1],
                    "unit": dirn,
                    "filelog": fn,
                    "machine_id": v_arr[2],
                    "server": v_arr[3],
                    "method": v_arr[4],
                    "path": v_arr[5],
                    "param": v_arr[6],
                    "port": v_arr[7],
                    "client": v_arr[9],
                    "agent": v_arr[10],
                    "code": v_arr[11]
                }
                redis_pool.lpush('iisvul', json.dumps(doc))
    except Exception as e:
        print e
<br />
def analyze(rootdir):
    for root,dirs,files in os.walk(rootdir): 
        for dirn in dirs:
            fpath = os.getcwd() + '/' + rootdir + '/' + dirn + '/'
            cur_files = os.listdir(fpath)
            for cur_file in cur_files:
                getLogs(dirn, fpath, cur_file)
<br />
if \_\_name\_\_ == '\_\_main\_\_':
    #日志路径为iis
    rootdir = 'iis'
    analyze(rootdir)
    print 'end'

为了更直观的展示日志，可以对请求ip做geoip，后续可在kibana中根据客户端IP画地图。

logstash配置文件iisvul.conf：

input{
    redis {
                host => "localhost"
                password => "redis" 
                data_type => "list"
                key => "iisvul"
                db => 1
        }
}

filter{
        geoip {
                source => "client"
                target => "geoip"
                database => "/path/to/databases/GeoLite2-City.mmdb"
        }
        date {
                match => [ "create_time", "YYYY-MM-dd HH:mm:ss"]
        }
}

output{
        elasticsearch {
                hosts => ["lcoalhost"]
                index => "iisvul"
                user => "logstash"
                password => "logstash"
        }
}

为索引iisvul建立映射，将geoip.location设置为geo_point类型。

PUT iisvul
{
  "mappings": {
    "logs": {
      "properties": {
        "geoip": {
          "dynamic": "true", 
          "properties":{
            "location":{"type":"geo_point"}
          }
        }
      }
    }
  }
}

0x03 总览日志

绘制面板

经过粗糙的处理，把日志信息输入到ELK，把控总体情况。

日志总体情况.png

后续分析

一些分析日志思路：

通过折线图请求大量增加，可判断被扫描的时间段
通过地图直观判断恶意请求来自国外的IP（正常情况下恶意的请求都会通过国外的代理进行扫描、漏洞利用）
通过请求参数、请求链接出现较少次数的排序寻找webshell、上传的小马
可以根据服务器上已成功上传的大马、一句话来查询日志，分析入侵路径