3

更新： TimedRotatingFileHandler当我使用时无法正常工作multiprocessing，我应该如何处理多处理日志记录？

我编写了自己的 Logger 类，如下所示，将其用作所有其他 python 脚本中的模块。

import logging
import logging.handlers

class Logger:
    DEFAULT_LOG_OUTPUT = "/home/haifzhan/"

    def __init__(self, logger_name, log_file_name, log_dir=DEFAULT_LOG_OUTPUT, log_level=logging.DEBUG):
        self.logger = logging.getLogger(logger_name,)
        self.formatter = logging.Formatter('%(asctime)s %(levelname)s %(message)s')

        #self.file_handler = logging.FileHandler(log_dir + log_file_name)
        file_path = log_dir + log_file_name
        self.file_handler = logging.handlers.TimedRotatingFileHandler(file_path, when='H', backupCount=30)
        self.file_handler.setFormatter(self.formatter)
        self.logger.setLevel(log_level)
        self.logger.addHandler(self.file_handler)

        self.console_handler = logging.StreamHandler()
        self.console_handler.setFormatter(self.formatter)
        self.console_handler.setLevel(logging.DEBUG)
        self.logger.addHandler(self.console_handler)

    def get_logger(self):
        return self.logger

在我的 python 脚本的顶部，我创建了一个 Logger 实例。

 `logger = Logger("logger name", "logfile.log", log_dir=LOG_DIR, log_level=logging.INFO).get_logger()`  # always put it at the top of my script

它在我使用时运行良好FileHandler，不幸的是在我切换到. 日志文件轮换按预期工作，但不会记录所有行。控制台日志记录工作正常，怎么可能？TimedRotatingFileHandler

self.file_handler = logging.FileHandler(log_dir + log_file_name)

self.file_handler = logging.handlers.TimedRotatingFileHandler(file_path, when='H', backupCount=30)

谁能帮忙解决一下？</p>

4

2 回答 2

5

不要使用所有进程中的文件。相反，制作一些日志消息队列并让一个专用进程（主要或特殊进程）执行日志记录。

这应该消除进程和这些问题之间的竞争条件。

鉴于您已经设置了一个Logger类，实现应该非常简单。您可以拥有日志记录的全局/单例实例Queue（每个Logger实例put都记录日志）并从单个中央进程管理实际的日志记录事项。

编辑：一种可能的方法是使用特殊的处理程序：

class QueueLogger(Handler):
    def __init__(self, log_queue):
        """
        Initialize the handler with logging Queue.
        """
        Handler.__init__(self)
        self.log_queue = log_queue

    def emit(self, record):
        self.log_queue.put(record)

这将允许将记录（包含日志级别和额外信息）放入队列中。另一方面，您可以拥有一个 HubLogger，它可以执行以下操作：

while True:
    r = log_queue.get()
    my_handler.emit(r)

并且my_handler可以是TimedRotatingFileHandler您想要的任何处理程序。

感谢@unutbu，因为他们已经在评论中评论了“Hub”方法。

于 2016-01-26T09:10:17.387 回答
0

每个进程都需要有一个单独的日志文件。

于 2016-01-21T15:42:43.950 回答