python - Python解析日志文件实时提取事件

Question

我有一个将消息记录到文件的进程。

我想实现另一个进程（在 Python 中）来解析这些日志（因为它们被写入文件），过滤我感兴趣的行，然后根据第一个进程的状态执行某些操作。

在我继续自己编写一些东西之前，我想知道是否有 Python 中的库可以做这样的事情。

此外，关于如何实现类似 Python 的想法将不胜感激。

谢谢。

Answer 1

C 程序通常会寻找当前位置以清除任何“文件结束”标志。但正如@9000 正确指出的那样，python 显然会处理这个问题，因此即使它已到达文件末尾，您也可以重复读取同一个文件。

不过，您可能需要处理不完整的行。如果您的应用程序将其日志写入片段，那么您要确保处理整行，而不是那些片段。下面的代码将实现这一点：

f = open('some.log', 'r')
while True:
    line = ''
    while len(line) == 0 or line[-1] != '\n':
        tail = f.readline()
        if tail == '':
            time.sleep(0.1)          # avoid busy waiting
            # f.seek(0, io.SEEK_CUR) # appears to be unneccessary
            continue
        line += tail
    process(line)

Answer 2

无需运行tail -f。普通的 Python 文件应该可以工作：

with open('/tmp/track-this') as f:
  while True:
    line = f.readline()
    if line:
      print line

这东西的工作原理几乎一模一样tail -f。通过在另一个终端中运行来检查它：

echo "more" >> /tmp/track-this
# alt-tab here to the terminal with Python and see 'more' printed
echo "even more" >> /tmp/track-this

/tmp/track-this在运行 Python 代码段之前不要忘记创建。

解析和采取适当的行动取决于你。可能应该在单独的线程/进程中执行长时间的操作。

停止条件也取决于您，但^C可以正常工作。

Answer 3

谢谢大家的回答。我也发现了这个。 http://www.dabeaz.com/generators/follow.py