日志数据基础概念解读

日志数据的定义。日志数据,就是记录IT系统产生的过程性事件记录数据。每一条日志数据都包含4W(Who?When?Where?What?)内容。通过查看日志数据,你可以了解到具体哪个用户、在具体什么时间、在哪台设备上或者什么应用系统中、做了什么具体的操作。

现在所有企业都面临着数字化转型,未来每一家企业都会是科技型公司。IT系统在支撑保障业务运行的过程中,都是持续产生大量的日志数据。比如金融行业的商业银行,网上银行或ATM等核心交易系统,是需要不间断提供实时服务的,每天都可能会产生TB级别甚至PB级别的日志数据。这类非结构化的文本数据,不仔细看就像乱码一样,让人找不到北。

日志数据的来源与分类。日志数据的来源主要有服务器、存储、网络设备、安设备、操作系统、中间件、数据库、业务系统等。日志数据可以分为IT硬件设备状态日志和应用系统日志两大类。硬件设备状态日志包括服务器的CPU或内存使用状态,存储设备温度或磁盘容量等健康度的状态,网络设备流量或行为分析的状态等。应用系统日志包括Windows、Linux、Unix操作系统的日志数据,Oracle、DB2、SQL Server、Mysql等数据库日志数据,Apache、Weblogic、Tomcat等中间件日志数据,还有比如银行网银、财务等业务系统日志数据。

如果按照日志格式分类的话,可以分为以下4种类型:

1、文本类日志数据。比如把日志数据记录到TXT文本中,这类日志数据可以直接打开浏览。

2、系统类日志数据。比如爱数文档管理系统AnyShare,所有操作的日志数据是记录在系统中的。当然一般也可以支持以TXT文本方式导出来保存。

3、SNMP类日志数据。SNMP是简单网络管理协议,主要是解决网络设备与网管软件之间通信的协议。因为网络设备即SNMP代理会将设备状态发送给网管软件即SNMP管理,所以日志分析厂商可以通过网管软件直接获取SNMP类日志数据。

4、数据库类日志数据。以比较普遍的Oracle数据库为例,Oracle数据库由数据库文件、控制文件和日志文件构成。日志文件在Oracle数据库中分为重做日志文件和归档日志文件两种,重做日志文件是Oracle数据库正常运行不可缺少的文件,记录了数据库的操作过程,用于备份和还原。这类关系型数据库的日志数据,可以通过ODBC开放数据库互联API来读取。

日志数据的特点与作用。日志数据每时每刻都在产生,不但数据量大,而且一般都是分散在各个存储设备中,所以IT运维人员如果要想通过手工方式,找到日志数据之间的关联性就比较困难。

日志数据是所有IT系统操作的过程类数据,所以对于IT系统运维人员来讲,如果能够通过日志管理平台把日志数据集中存储管理起来,就可以解决故障定位排查的问题。对于风险管理部门来说,也可以运用日志管理平台对不同系统的日志数据进行串联关联分析,控制或者降低企业运营风险。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,204评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,091评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,548评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,657评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,689评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,554评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,302评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,216评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,661评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,851评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,977评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,697评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,306评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,898评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,019评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,138评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,927评论 2 355

推荐阅读更多精彩内容