Python 日志模块logging分析及使用-1

1
2
3

p = logging.getLogger("root")  
c1 = logging.getLogger("root.c1")  
c2 = logging.getLogger("root.c2")

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

root = RootLogger(WARNING)  
Logger.root = root  
Logger.manager = Manager(Logger.root)  
  
def getLogger(name=None):  
    """  
    Return a logger with the specified name, creating it if necessary.  
    If no name is specified, return the root logger.  
    """  
    if name:  
        return Logger.manager.getLogger(name)  
    else:  
        return root

1
2
3
4
5

import logging  
logger = logging.getLogger('test')  
logger.warning('this is a warning info')  
# 输出  
WARNING:test:this is a warning info

1
2
3
4
5
6
7
8
9

import logging  
  
logger = logging.getLogger()  # 获取Logger对象  
handler = logging.FileHandler('output.log', mode='a', encoding=None, delay=False)  
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s', datefmt='%Y-%m-%d %H:%M:%S', style='%')  
handler.setFormatter(formatter)  # handler对象设置格式  
handler.setLevel(logging.DEBUG)  # handler设置日志级别  
  
logger.addHandler(handler)  # 添加handler对象

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

class Filter(object):  
    """  
    Filter instances are used to perform arbitrary filtering of LogRecords.  
    """  
    def __init__(self, name=''):  
        """  
        Initialize a filter.  
  
        Initialize with the name of the logger which, together with its  
        children, will have its events allowed through the filter. If no  
        name is specified, allow every event.  
        """  
        self.name = name  
        self.nlen = len(name)

1
2
3
4
5

import logging

fmt = "%(asctime)s [%(filename)s:%(lineno)d] %(levelname)s: %(message)s"  
datefmt="%Y-%m-%d %H:%M:%S"  
logFormatter = logging.Formatter(fmt, datefmt)

1
2
3
4
5
6
7
8

CRITICAL = 50  
FATAL = CRITICAL  
ERROR = 40  
WARNING = 30  
WARN = WARNING  
INFO = 20  
DEBUG = 10  
NOTSET = 0

1
2
3
4
5
6
7
8
9

def info(msg, *args, **kwargs):  
    """  
    Log a message with severity 'INFO' on the root logger. If the logger has  
    no handlers, call basicConfig() to add a console handler with a pre-defined  
    format.  
    """  
    if len(root.handlers) == 0:  
        basicConfig()  
    root.info(msg, *args, **kwargs)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import logging  
logging.warning('this is a warning info.')  
logging.error('this is a error info.')  
logging.debug('this is a debuginfo.')  
# 输出  
WARNING:root:this is a warning info.  
ERROR:root:this is a error info.  

logging.log(20, 'this is a info msg.')  
logging.log(30, 'this is a warn msg.')  
# 输出：  
WARNING:root:this is a warn msg.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

# 普通接口  
def warning(msg, *args, **kwargs)  
# 内部调用如下函数：  
self._log(WARNING, msg, args, **kwargs)  

# 统一接口  
def log(level, msg, *args, **kwargs)  
# 内部调用如下函数：
self._log(level, msg, args, **kwargs)  

# exception函数，参数中默认exc_info为True  
def exception(msg, *args, exc_info=True, **kwargs):  
   error(msg, *args, exc_info=exc_info, **kwargs)  
# 内部调用如下函数：
self._log(ERROR, msg, args, **kwargs)

1
2

def _log(self, level, msg, args, exc_info=None, extra=None, stack_info=False)
    pass

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import logging  
  
logging.basicConfig(filename="test.log", filemode="w", format="%(asctime)s    %(name)s:%(levelname)s:%(message)s",  
                    datefmt="%d-%M-%Y %H:%M:%S", level=logging.DEBUG)  
a = 5  
b = 0  
try:  
    c = a / b  
except Exception as e:  
    # 下面三种方式三选一，推荐使用第一种     
logging.exception("Exception occurred")  
    logging.error("Exception occurred", exc_info=True)  
    logging.log(level=logging.DEBUG, msg="Exception occurred", exc_info=True)

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207

py

复制代码

 `1import logging    2    3logging.basicConfig(filename="test.log", filemode="w", format="%(asctime)s %(name)s:%(levelname)s:%(message)s", datefmt="%d-%M-%Y %H:%M:%S", level=logging.DEBUG)    4a = 5    5b = 0    6try:    7    c = a / b    8except Exception as e:    9    # 下面三种方式三选一，推荐使用第一种   10    logging.exception("Exception occurred")   11    logging.error("Exception occurred", exc_info=True)   12    logging.log(level=logging.DEBUG, msg="Exception occurred", exc_info=True)`

输出文件`test.log`的内容:  

![在这里插入图片描述](https://p1-jj.byteimg.com/tos-cn-i-t2oaga2asx/gold-user-assets/2020/1/2/16f658205f087401~tplv-t2oaga2asx-jj-mark:3024:0:0:0:q75.png "在这里插入图片描述")

在这里插入图片描述

### 4.2 使用basicConfig()函数

使用`basicConfig()`方法就能够满足基本的使用需要，如果方法没有传入参数，会根据默认的配置创建`Logger`对象，默认的日志级别被设置为**WARNING**。  
默认的日志输出格式：

|WARNING|root|message|
|---|---|---|
|日志级别|`Logger`实例|日志信息|

**函数定义：**  
`def basicConfig(**kwargs)`

该函数**可选的参数**如下表所示：

|参数名称|参数描述|
|---|---|
|`filename`|日志输出到文件的文件名|
|`filemode`|文件模式，`r[+]`、`w[+]`、`a[+]`|
|`format`|日志输出的格式|
|`datefmt`|日志附带日期时间的格式|
|`style`|格式占位符，默认为`“%”`和`“{}”`|
|`level`|设置日志输出级别|
|`stream`|定义输出流，用来初始化 `StreamHandler`对象，不能和 `filename`参数一起使用，否则会`ValueError`异常|
|`handles`|定义处理器，用来创建`Handler`对象，不能和`filename，stream`参数一起使用，否则也会抛出`ValueError`异常|

> - `stream`输出流不与`filename`输出文件一起使用
> - `handler`处理器不与`stream`输出流或`filename`输出文件一起用
> - 即`stream`、`filename`和`handler`互相排斥
> - 若想将日志信息同时输出到文件和控制台，则需要使用`Logger`处理器增加对应的处理方法。

`basicConfig()`方法可以实现将日志信息输出到文件中**或者**输出到定义的输出流中。

- **输出到文件中**，可以通过`filename`参数，或者通过`handler`处理器创建相应文件对象实现
    - 内部创建`FileHandle()`对象
- **打印到输出流**中，使用默认参数即可
    - 内部创建`StreamHandler()`对象

其中，`format`指定输出的格式和内容，`format`可以输出很多有用信息，具体格式见`Formatter类`。

该方法相当于显示调用`basicConfig()`进行参数的配置，而直接调用`logging.info()`接口函数，若没有`handler`时，是隐式调用`basicConfig()`的默认参数形式。

**1）日志信息打印到输出流**

py

复制代码

 `1import logging    2# 直接调用basicConfig()函数，使用默认参数    3logging.basicConfig()    4logging.debug('This is a debug message')    5logging.info('This is an info message')    6logging.warning('This is a warning message')    7logging.error('This is an error message')    8logging.critical('This is a critical message')    9   10# 输出：(默认级别是WARNING)   11WARNING:root:This is a warning message   12ERROR:root:This is an error message   13CRITICAL:root:This is a critical message`

**2）格式化输出**

**格式化输出时间：**  
通过`datefmt`参数可以格式化输出`log`的时间。

**常用的输出格式**如下：  
`format = '%(asctime)s - %(filename)s[line:%(lineno)d]- %(levelname)s: %(message)s'`  
该格式可以输出日志的打印时间，输出模块及行号，日志级别和输出的日志内容。

py

复制代码

`1import logging   2logging.basicConfig(format='%(asctime)s %(message)s', datefmt = '%Y-%m-%d %I:%M:%S %p')   3logging.warning('is when this event was occurred.')   4   5# 输出结果   62019-10-15 04:03:17 PM is when this event was occurred.`

**3） 将日志输出到指定文件**  
指定`filename`， `filemode`参数，可将日志内容输出到指定文件，示例代码如下：

py

复制代码

`1import logging   2   3logging.basicConfig(filename='test.log', filemode='w', format="%(asctime)s %(name)s:%(levelname)s:%(message)s", datefmt="%d-%M-%Y %H:%M:%S", level=logging.DEBUG)   4logging.debug('This is a debug message')   5logging.info('This is an info message')   6logging.warning('This is a warning message')   7logging.error('This is an error message')`

生成的日志文件`test.log`，内容如下：  

![在这里插入图片描述](https://p1-jj.byteimg.com/tos-cn-i-t2oaga2asx/gold-user-assets/2020/1/2/16f658205ef08685~tplv-t2oaga2asx-jj-mark:3024:0:0:0:q75.png "在这里插入图片描述")

在这里插入图片描述

### 4.3 一步步配置Logger

`basicConfig`函数提供了一种较为简便的使用日志的方式，如果想要获取更加复杂的使用，则需要自己一步步配置来实现。

**配置逻辑：**

- 一个`logger`对象可以添加多个`handler`对象，通过`addHandler()`函数
- 每个`handler`对象可以有一个`Formatter`对象来指定格式，通过`setFormatter()`函数
- `handler`和`logger`对象都需要设置一个日志等级，通过`setLevel()`函数
- 根据需要`logger`和`handler`对象可以添加多个`Filter`对象，通过`addFilter()`函数

**示例：**

py

复制代码

 `1import logging    2    3logger = logging.getLogger(__name__)    4logger.setLevel(level=logging.INFO)    5    6handler = logging.FileHandler('output.log', mode='a', encoding=None, delay=False)    7formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s',    8                                datefmt='%Y-%m-%d %H:%M:%S',    9                                style='%')   10handler.setFormatter(formatter)   11handler.setLevel(logging.DEBUG)   12handler.set_name('output-log')   13   14logger.addHandler(handler)   15   16a=0   17try:   18    res = 100 / a   19except:   20    logger.error('Divisor is equal to 0.', exc_info=True)`

**将日志同时输出到屏幕和文件**

py

复制代码

 `1import logging    2logger = logging.getLogger(__name__)    3logger.setLevel(level = logging.DEBUG)    4handler = logging.FileHandler("log.txt")    5handler.setLevel(logging.INFO)    6formatter = logging.Formatter('%(asctime)s - %(name)s - %(message)s')    7handler.setFormatter(formatter)    8    9console = logging.StreamHandler()   10console.setLevel(logging.INFO)   11   12logger.addHandler(handler)   13logger.addHandler(console)   14   15logger.info("Start print log")   16logger.debug("Do something")   17logger.warning("Something maybe fail.")   18logger.info("Finish")`

在`log.txt`文件和控制台均可看到输出，控制台的输出，其中文件中内容（有格式）如下：  

![在这里插入图片描述](https://p1-jj.byteimg.com/tos-cn-i-t2oaga2asx/gold-user-assets/2020/1/2/16f658207e6eee73~tplv-t2oaga2asx-jj-mark:3024:0:0:0:q75.png "在这里插入图片描述")

在这里插入图片描述

  
通过这段代码可以看出，`logging`有一个日志处理的主对象(`logger=logging.getLogger()`)，其他的处理方法均是通过`addHandler`添加进去。

### 4.4 通过dictConfig配置

通过`dictConfig`配置方法是通过python代码构建一个`dict`对象，也可以通过`JSON`或`yaml`文件来进行配置。  
这种方式使用起来更加灵活，强大。我们可以把很多的数据转换成自字典形式，然后将他们填充到一个配置字典中。

具体如何转换可以参考`logging.config.py`文件。

#### 4.4.1 dictConfig()

该函数可以从一个字典对象中获取日志配置信息，`config`参数就是这个字典对象。

定义如下：

py

复制代码

`1def dictConfig(config):   2    """Configure logging using a dictionary."""   3    dictConfigClass(config).configure()`

如使用`YAML`格式的文件类配置(配置内容见下方示例)，则使用示例：

py

复制代码

 `1import logging    2import logging.config    3import yaml    4    5with open('logging.yml', 'r') as f_config:    6    dict_cfg = yaml.load(f_config)    7logging.config.dictConfig(dict_cfg)    8    9logger = logging.getLogger('console')   10logger.debug('debug msg')`

#### 4.4.2 配置规则

|key名称|描述|
|---|---|
|`version`|必选项，整数值，表示配置格式版本，当前唯一可用值是`1`|
|`formatters`|可选项，其值是字典对象，该字典对象每个元素的`key`为要定义的格式器名称，`value`为格式器的配置信息组成的`dict`。一般会配置`format`，用于指定输出字符串的格式，`datefmt`用于指定输出的时间字符串格式，默认为`%Y-%m-%d %H:%M:%S`。|
|`filters`|可选项，其值是字典对象，该字典对象每个元素的`key`为要定义的过滤器名称，`value`为过滤器的配置信息组成的`dict`。|
|`handlers`|可选项，其值是字典对象，该字典对象每个元素的`key`为要定义的处理器名称，`value`为处理器的配置信息组成的`dict`。如`class`（必选项）, `formatter`, `filters`。其他配置信息将会传递给`class`所指定的处理器类的构造函数。如使用`logging.handlers.RotatingFileHandler`，使用`maxBytes`, `backupCount`等参数。|
|`loggers`|可选项，其值是字典对象，该字典对象每个元素的`key`为要定义的日志器名称，`value`为日志器的配置信息组成的`dict`。如`level, handler, filter`等|
|`root`|可选项，这是`root logger`的配置项，其值是字典对象。除非在定义其它`logger`时明确指定`propagate`值为no，否则`root logger`定义的`handlers`都会被作用到其它`logger`上。|
|`incremental`|可选项，默认值为`False`。该选项的意义在于，如果这里定义的对象已经存在，那么这里对这些对象的定义是否应用到已存在的对象上。值为`False`表示，已存在的对象将会被重新定义。|

**具体配置结构如下所示：**

- `version`： 必要参数，必须为`1`
    
- `incremental`：是否将此配置文件解释为现有配置的增量, 默认为`False`
    
- `disable_existing_loggers`：是否要禁用现有的非 `root logger`，默认为`True`
    
- `handlers`：字典形式
    
    - `class`：必须有，所使用的`handler`类，如`logging.handlers.RotatingFileHandler`
    - `level`：（可选），`handler`的等级
    - `formatter`：（可选），当前`handler`的`formatter`的`id`
    - `filters`：（可选），当前`handler`的`filters`的`id`列表
- `loggers`：字典形式
    
    - `level`：（可选），`logger`的等级
    - `propagate`：（可选）：默认值为1，表示将消息传递给父`logger`的`handler`进行处理。
    - `filters`：（可选）
    - `handlers`：（可选） ，当前`logger`的`handlers`的`id`列表
    - `qualname`：代码中使用`logging.getLogger()`时，读取的就是`qualname`这个选项。
- `root`：这是`root logger`的配置项
    
    - `level`：日志等级
    - `handlers` ：当前`root logger`的`handlers`的`id`列表

#### 4.4.3 配置示例

yaml

复制代码

 `1version:1    2root:    3    level:DEBUG    4    handlers:[filehandler, ]    5loggers:    6    console:    7        level:WARNING    8        handlers:[consolehandler,]    9        propagate:1   10handlers:   11    filehandler:   12        class:logging.FileHandler   13        filename:logs/sys.log   14        level:WARNING   15        formatter:fileformatter   16    consolehandler:   17        class:logging.StreamHandler   18        stream:ext://sys.stdout   19        level:DEBUG   20        formatter:consoleformatter   21formatters:   22    fileformatter:   23        format:'%(asctime)s [%(name)s][%(levelname)s]：%(message)s'   24    consoleformatter:   25        format:'%(asctime)s[%(levelname)s]:%(message)s'`

> 外部对象访问：外部对象是指不能直接进行访问，需要`import`导入的对象，这时候需要加一个`ext://`前缀以便识别，然后系统就会`import`这个前缀后面的内容。

**参考资料：**  
[Python日志库logging总结-可能是目前为止将logging库总结的最好的一篇文章](https://cloud.tencent.com/developer/article/1354396)  
[python基础学习十 logging模块详细使用【转载】 - louis_w - 博客园](https://www.cnblogs.com/louis-w/p/8567434.html)  
[Python之路(第十七篇)logging模块 - Nicholas- - 博客园](https://www.cnblogs.com/Nicholas0707/p/9021672.html)