日志数据的定义。日志数据,就是记录IT系统产生的过程性事件记录数据。每一条日志数据都包含4W(Who?When?Where?What?)内容。通过查看日志数据,你可以了解到具体哪个用户、在具体什么时间、在哪台设备上或者什么应用系统中、做了什么具体的操作。
现在所有企业都面临着数字化转型,未来每一家企业都会是科技型公司。IT系统在支撑保障业务运行的过程中,都是持续产生大量的日志数据。比如金融行业的商业银行,网上银行或ATM等核心交易系统,是需要不间断提供实时服务的,每天都可能会产生TB级别甚至PB级别的日志数据。这类非结构化的文本数据,不仔细看就像乱码一样,让人找不到北。
日志数据的来源与分类。日志数据的来源主要有服务器、存储、网络设备、安设备、操作系统、中间件、数据库、业务系统等。日志数据可以分为IT硬件设备状态日志和应用系统日志两大类。硬件设备状态日志包括服务器的CPU或内存使用状态,存储设备温度或磁盘容量等健康度的状态,网络设备流量或行为分析的状态等。应用系统日志包括Windows、Linux、Unix操作系统的日志数据,Oracle、DB2、SQL Server、Mysql等数据库日志数据,Apache、Weblogic、Tomcat等中间件日志数据,还有比如银行网银、财务等业务系统日志数据。
如果按照日志格式分类的话,可以分为以下4种类型:
1、文本类日志数据。比如把日志数据记录到TXT文本中,这类日志数据可以直接打开浏览。
2、系统类日志数据。比如爱数文档管理系统AnyShare,所有操作的日志数据是记录在系统中的。当然一般也可以支持以TXT文本方式导出来保存。
3、SNMP类日志数据。SNMP是简单网络管理协议,主要是解决网络设备与网管软件之间通信的协议。因为网络设备即SNMP代理会将设备状态发送给网管软件即SNMP管理,所以日志分析厂商可以通过网管软件直接获取SNMP类日志数据。
4、数据库类日志数据。以比较普遍的Oracle数据库为例,Oracle数据库由数据库文件、控制文件和日志文件构成。日志文件在Oracle数据库中分为重做日志文件和归档日志文件两种,重做日志文件是Oracle数据库正常运行不可缺少的文件,记录了数据库的操作过程,用于备份和还原。这类关系型数据库的日志数据,可以通过ODBC开放数据库互联API来读取。
日志数据的特点与作用。日志数据每时每刻都在产生,不但数据量大,而且一般都是分散在各个存储设备中,所以IT运维人员如果要想通过手工方式,找到日志数据之间的关联性就比较困难。
日志数据是所有IT系统操作的过程类数据,所以对于IT系统运维人员来讲,如果能够通过日志管理平台把日志数据集中存储管理起来,就可以解决故障定位排查的问题。对于风险管理部门来说,也可以运用日志管理平台对不同系统的日志数据进行串联关联分析,控制或者降低企业运营风险。