Python3 logging (日志)

时间：2019-05-13
环境：python3.7.3
官方文档：https://docs.python.org/3/library/logging.config.html#logging-config-dictschetma

1. 相关模块引入

import logging
import logging.config

2. 基础使用

#!/usr/local/bin/python3
# -*- coding:utf-8 -*-
import logging

logging.debug('debug message')
logging.info('info message')
logging.warning('warn message')
logging.error('error message')
logging.critical('critical message')

输出结果：

WARNING:root:warn message
ERROR:root:error message
CRITICAL:root:critical message

结论：
*. 默认 打印等级：WARNING(即只有日志级别高于WARNING的日志信息才会输出)
*. 默认 打印格式：[%(levelname)s]:[%(name)s]:[%(message)s] 即：[日志等级]:[Logger实例名称]:[日志消息内容]

实际开发中，需要更多自定义化的配置，在开始自定义配置前，先了解几个核心概念

3. 核心概念

• 1.Logger 记录器：暴露了应用程序代码能直接使用的接口。
• 2.Handler 处理器：将（记录器产生的）日志记录发送至合适的目的地。
• 3.Filter 过滤器：提供了更好的粒度控制，它可以决定输出哪些日志记录。
• 4.Formatter 格式化器：指明了最终输出中日志记录的布局。

3.1 Logger 记录器

Logger是一个树形层级结构，在使用接口debug，info，warn，error，critical之前必须创建Logger实例，即创建一个记录器，如果没有显式的进行创建，则默认创建一个root logger，并应用默认的日志级别(WARN)，处理器Handler(StreamHandler，即将日志信息打印输出在标准输出上)，和格式化器Formatter(默认的格式即为第一个简单使用程序中输出的格式)。

创建方法: logger = logging.getLogger(logger_name)

创建Logger实例后，可以使用以下方法进行日志级别设置，增加处理器Handler。

logger.setLevel(logging.ERROR)  # 设置日志级别为ERROR，即只有日志级别大于等于ERROR的日志才会输出
logger.addHandler(handler_name)  # 为Logger实例增加一个处理器
logger.removeHandler(handler_name)   # 为Logger实例删除一个处理器

3.2 Handler 处理器

Handler处理器类型有很多种，比较常用的有三个，StreamHandler，FileHandler，NullHandler，详情可以访问 Python logging.handlers

创建StreamHandler之后，可以通过使用以下方法设置日志级别，设置格式化器Formatter，增加或删除过滤器Filter。

ch.setLevel(logging.WARN)  # 指定日志级别，低于WARN级别的日志将被忽略
ch.setFormatter(formatter_name)  # 设置一个格式化器formatter
ch.addFilter(filter_name)  # 增加一个过滤器，可以增加多个
ch.removeFilter(filter_name)  # 删除一个过滤器

3.2.1 StreamHandler

1. logging模块中的三个handler之一。
2. 能够将日志信息输出到sys.stdout, sys.stderr 或者类文件对象（更确切点，就是能够支持write()和flush()方法的对象）。

构造参数：

class logging.StreamHandler(stream=None)
日志信息会输出到指定的stream中，如果stream为空则默认输出到sys.stderr

3.2.2 FileHandler

1. logging模块自带的三个handler之一。
2. 继承自StreamHandler。将日志信息输出到磁盘文件上。

构造参数：

class logging.FileHandler(filename, mode='a', encoding=None, delay=False)
模式默认为append，delay为true时，文件直到emit方法被执行才会打开。默认情况下，日志文件可以无限增大。

3.2.3 NullHandler

1. logging模块自带的三个handler之一。
2. 空操作handler， 没有参数。

3.2.4 WatchedFileHandler

1. 位于logging.handlers模块中。
2. 用于监视文件的状态，如果文件被改变了，那么就关闭当前流，重新打开文件，创建一个新的流。由于newsyslog或者logrotate的使用会导致文件改变。这个handler是专门为linux/unix系统设计的，因为在windows系统下，正在被打开的文件是不会被改变的。

参数和FileHandler相同：

class logging.handlers.WatchedFileHandler(filename, mode='a', encoding=None, delay=False)

3.2.5 RotatingFileHandler

1. 位于logging.handlers支持循环日志文件。

构造参数：

class logging.handlers.RotatingFileHandler(filename, mode='a', maxBytes=0, backupCount=0, encoding=None, delay=0)

参数maxBytes和backupCount允许日志文件在达到maxBytes时rollover.当文件大小达到或者超过maxBytes时，就会新创建一个日志文件。
上述的这两个参数任一一个为0时，rollover都不会发生。也就是就文件没有maxBytes限制。backupcount是备份数目，也就是最多能有多少个备份。
命名会在日志的base_name后面加上.0-.n的后缀，如example.log.1,example.log.1,…,example.log.10。当前使用的日志文件为base_name.log。

3.2.6 TimedRotatingFileHandler

定时循环日志handler，位于logging.handlers，支持定时生成新日志文件。

构造参数：

class logging.handlers.TimedRotatingFileHandler(filename, when='h', interval=1, backupCount=0, encoding=None, delay=False, utc=False)

参数when决定了时间间隔的类型，参数interval决定了多少的时间间隔。如when='D'，interval=2，就是指两天的时间间隔，backupCount决定了能留几个日志文件。超过数量就会丢弃掉老的日志文件。

when的参数决定了时间间隔的类型。两者之间的关系如下：
 'S'         |  秒
 'M'         |  分
 'H'         |  时
 'D'         |  天
 'W0'-'W6'   |  周一至周日
 'midnight'  |  每天的凌晨
utc参数表示UTC时间。

3.2.7 其他handler——SocketHandler、DatagramHandler、SysLogHandler、NtEventHandler、SMTPHandler、MemoryHandler、HTTPHandler

这些handler都不怎么常用，所以具体介绍就请参考官方文档 (https://docs.python.org/3.7/library/logging.handlers.html)

3.3 Formatter 格式化器

使用Formatter对象设置日志信息最后的规则、结构和内容，默认的时间格式为%Y-%m-%d %H:%M:%S。

创建方法: formatter = logging.Formatter(fmt=None, datefmt=None, style='%')
fmt：消息的格式化字符串，如果不指明fmt，将使用'%(message)s'。
datefmt：日期字符串。如果不指明datefmt，将使用ISO8601日期格式。
style：引用样式，默认'%', 即'%()s'

3.4 Filter 过滤器

Handlers和Loggers可以使用Filters来完成比级别更复杂的过滤。Filter基类只允许特定Logger层次以下的事件。

例如用'A.B'初始化的Filter允许Logger 'A.B', 'A.B.C', 'A.B.C.D', 'A.B.D'等记录的事件，logger'A.BB', 'B.A.B' 等就不行。如果用空字符串来初始化，所有的事件都接受。

创建方法: filter = logging.Filter(name='')

以下是相关概念总结:

熟悉了这些概念之后，有另外一个比较重要的事情必须清楚，即Logger是一个树形层级结构;
Logger可以包含一个或多个Handler和Filter，即Logger与Handler或Fitler是一对多的关系;
一个Logger实例可以新增多个Handler，一个Handler可以新增多个格式化器或多个过滤器，而且日志级别将会继承。

1557738246703.jpg

3.5 Logging工作流程

logging模块使用过程

1. 第一次导入logging模块或使用reload函数重新导入logging模块，logging模块中的代码将被执行，这个过程中将产生logging日志系统的默认配置。

2. 自定义配置(可选)。logging标准模块支持三种配置方式: dictConfig，fileConfig，listen。

   • dictConfig是通过一个字典进行配置Logger，Handler，Filter，Formatter；
   • fileConfig则是通过一个文件进行配置
   • listen则监听一个网络端口，通过接收网络数据来进行配置。

   当然，除了以上集体化配置外，也可以直接调用Logger，Handler等对象中的方法在代码中来显式配置。

3. 使用logging模块的全局作用域中的getLogger函数来得到一个Logger对象实例(其参数即是一个字符串，表示Logger对象实例的名字，即通过该名字来得到相应的Logger对象实例)。

4. 使用Logger对象中的debug，info，error，warn，critical等方法记录日志信息。

logging模块处理流程

477558-a099cc71d0a4c453.png

1. 判断日志的等级是否大于Logger对象的等级，如果大于，则往下执行，否则，流程结束。
2. 产生日志。第一步，判断是否有异常，如果有，则添加异常信息。第二步，处理日志记录方法(如debug，info等)中的占位符，即一般的字符串格式化处理。
3. 使用注册到Logger对象中的Filters进行过滤。如果有多个过滤器，则依次过滤；只要有一个过滤器返回假，则过滤结束，且该日志信息将丢弃，不再处理，而处理流程也至此结束。否则，处理流程往下执行。
4. 在当前Logger对象中查找Handlers，如果找不到任何Handler，则往上到该Logger对象的父Logger中查找；如果找到一个或多个Handler，则依次用Handler来处理日志信息。但在每个Handler处理日志信息过程中，会首先判断日志信息的等级是否大于该Handler的等级，如果大于，则往下执行(由Logger对象进入Handler对象中)，否则，处理流程结束。
5. 执行Handler对象中的filter方法，该方法会依次执行注册到该Handler对象中的Filter。如果有一个Filter判断该日志信息为假，则此后的所有Filter都不再执行，而直接将该日志信息丢弃，处理流程结束。
6. 使用Formatter类格式化最终的输出结果。 注：Formatter同上述第2步的字符串格式化不同，它会添加额外的信息，比如日志产生的时间，产生日志的源代码所在的源文件的路径等等。
7. 真正地输出日志信息(到网络，文件，终端，邮件等)。至于输出到哪个目的地，由Handler的种类来决定。

4. 自定义配置

4.1 格式配置

4.1.1 format 格式中的变量

格式配置：

完整输出： %(asctime)s [%(process)d] [%(threadName)s(%(thread)d)] [%(name)s] [%(levelname)s(%(levelno)s)] %(pathname)s.%(filename)s[line:%(lineno)d, funcName:%(funcName)s] %(message)s'

个人格式(延续Java logback习惯)： '%(asctime)s [%(threadName)s] [%(name)s] [%(levelname)s] %(filename)s[line:%(lineno)d] %(message)s'

4.1.2 datefmt

参考： https://docs.python.org/3.7/library/time.html?highlight=strftime#time.strftime

4.2 第一种：显式调用操作

显式创建 Logger记录器、Handler处理器 和 Formatter格式化器，并进行相关设置

import logging.config
# create logger
logger_name = "example"
logger = logging.getLogger(logger_name)
logger.setLevel(logging.DEBUG)

# create file handler
log_path = "./loggingDemo-direct.log"
fh = logging.FileHandler(log_path)
fh.setLevel(logging.WARNING)

# create formatter
fmt = '%(asctime)s [%(threadName)s] [%(name)s] [%(levelname)s] %(filename)s[line:%(lineno)d] %(message)s'
datefmt = '%Y-%m-%d %H:%M:%S'
formatter = logging.Formatter(fmt, datefmt)

# add handler and formatter to logger
fh.setFormatter(formatter)
logger.addHandler(fh)

logger.debug('log debug')
logger.info('log info')
logger.warning('log warning')
logger.error('log error')
logger.critical('log critical')

4.3 第二种：logging.basicConfig() 配置

实例：

import logging.config

logging.basicConfig(
    filename='loggingDemo-basicConfig.log',
    level=logging.DEBUG,
    format='%(asctime)s [%(threadName)s] [%(name)s] [%(levelname)s] %(filename)s[line:%(lineno)d] %(message)s',
    datefmt='%Y-%m-%d %H:%M:%S'
)

logging.debug('log debug')
logging.info('log info')
logging.warning('log warning')
logging.error('log error')
logging.critical('log critical')

4.4 第三种 logging.config.fileConfig 读取配置文件

配置文件logging.conf如下:

[loggers]
keys=root, fileLogger, rotatingFileLogger

[handlers]
keys=consoleHandler, fileHandler, rotatingFileHandler

[formatters]
keys=simpleFormatter

[logger_root]
level=DEBUG
handlers=consoleHandler

[logger_fileLogger]
level=DEBUG
# 该logger中配置的handler
handlers=fileHandler
# logger 的名称
qualname=fileLogger
propagate=0

[logger_rotatingFileLogger]
level=DEBUG
# 这样配置，rotatingFileLogger中就同时配置了consoleHandler,rotatingFileHandler
# consoleHandler 负责将日志输出到控制台
# rotatingFileHandler 负责将日志输出保存到文件中
handlers=consoleHandler,rotatingFileHandler
qualname=rotatingFileLogger
propagate=0

[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=simpleFormatter
args=(sys.stdout,)

[handler_fileHandler]
class=FileHandler
level=DEBUG
formatter=simpleFormatter
args=('./loggingDemo-file.log', 'a')

[handler_rotatingFileHandler]
class=handlers.RotatingFileHandler
level=WARNING
formatter=simpleFormatter
args=('./loggingDemo-rotating.log', 'a', 1*1024*1024, 5)

[formatter_simpleFormatter]
format=%(asctime)s [%(threadName)s] [%(name)s] [%(levelname)s] %(filename)s[line:%(lineno)d] %(message)s
datefmt=%Y-%m-%d %H:%M:%S

实例：

import logging.config
logging.config.fileConfig('./logging.conf')
log = logging.getLogger(name='rotatingFileLogger')
log.debug('log debug')
log.info('log info')
log.warning('log warning')
log.error('log error')
log.critical('log critical')

4.5 第四种 logging.config.dictConfig 读取配置信息

import logging.config
dictConfig = {
    'version': 1,
    'disable_existing_loggers': True,
    'incremental': False,
    'formatters': {
        'master_format': {
            'class': 'logging.Formatter',
            'format': '%(asctime)s [%(threadName)s] [%(name)s] [%(levelname)s] %(filename)s[line:%(lineno)d] %(message)s',
            'datefmt': '%Y-%m-%d %H:%M:%S'
        }
    },
    'filters': {
        'filter_by_name': {
            'class': 'logging.Filter',
            'name': 'fileLogger'
        },
        # 仅 INFO 能输出
        'filter_single_level_pass': {
            'class': 'logging.StreamHandler',
            'pass_level': logging.INFO
        }
    },
    'handlers': {
        'console': {
            'class': 'logging.StreamHandler',
            'level': logging.DEBUG,
            'formatter': 'master_format',
        },
        'fileHandler': {
            'class': 'logging.FileHandler',
            'filename': 'logfile.log',
            'level': logging.INFO,
            'formatter': 'master_format',
            'filters': ['filter_by_name', ],
        },
        'rotatingFileHandler': {
            'class': 'logging.handlers.RotatingFileHandler',
            'filename': 'rotatingLogfile.log',
            'level': logging.DEBUG,
            'formatter': 'master_format',
            'maxBytes': 256,
            'backupCount': 2
        },
    },
    'loggers': {
        'root': {
            'handlers': ['console', ],
            'level': 'INFO',
            'propagate': False
        },
        'fileLogger': {
            'handlers': ['console', 'fileHandler'],
            'filters': ['filter_by_name', ],
            'level': 'DEBUG'
        },
        'rotatingFileLogger': {
            'handlers': ['console', 'rotatingFileHandler'],
            'level': 'INFO'
        }
    }
}
logging.config.dictConfig(dictConfig)
log = logging.getLogger(name='fileLogger')
log.debug('log debug')
log.info('log info')
log.warning('log warning')
log.error('log error')
log.critical('log critical')

log2 = logging.getLogger(name='rotatingFileLogger')
log2.debug('log debug')
log2.info('log info')
log2.warning('log warning')
log2.error('log error')
log2.critical('log critical')

4.6 第五种 listen() 进行网络配置。

更多详细内容参考logging.config日志配置

参考资料

• [简书 作者：好吃的野菜] //www.greatytc.com/p/feb86c06c4f4