16

我的问题是关于解析日志文件并删除每行上的可变部分以便对它们进行分组。例如：

s = re.sub(r'(?i)User [_0-9A-z]+ is ', r"User .. is ", s)
s = re.sub(r'(?i)Message rejected because : (.*?) \(.+\)', r'Message rejected because : \1 (...)', s)

我有大约 120 多个与上述类似的匹配规则。

在连续搜索 100 个不同的正则表达式时，我没有发现任何性能问题。但是在应用 101 正则表达式时会出现巨大的减速。

将我的规则替换为时会发生完全相同的行为

for a in range(100):
    s = re.sub(r'(?i)caught here'+str(a)+':.+', r'( ... )', s)

改用 range(101) 时，速度慢了 20 倍。

# range(100)
% ./dashlog.py file.bz2
== Took  2.1 seconds.  ==

# range(101)
% ./dashlog.py file.bz2
== Took  47.6 seconds.  ==

为什么会发生这样的事情？是否有任何已知的解决方法？

（发生在 Linux/Windows 上的 Python 2.6.6/2.7.2 上。）

4

1 回答 1

29

Python 为已编译的正则表达式保留一个内部缓存。每当您使用采用正则表达式的顶级函数之一时，Python 首先编译该表达式，并缓存该编译的结果。

猜猜缓存可以容纳多少项目？

>>> import re
>>> re._MAXCACHE
100

当您超过缓存大小时，Python 2 会清除所有缓存的表达式并从干净的缓存开始。Python 3 将限制增加到 512，但仍然完全清除。

解决方法是让您自己缓存编译：

compiled_expression = re.compile(r'(?i)User [_0-9A-z]+ is ')

compiled_expression.sub(r"User .. is ", s)

您可以使用functools.partial()将sub()调用与替换表达式捆绑在一起：

from functools import partial

compiled_expression = re.compile(r'(?i)User [_0-9A-z]+ is ')
ready_to_use_sub = partial(compiled_expression.sub, r"User .. is ")

然后稍后ready_to_use_sub(s)用于将编译的正则表达式模式与特定的替换模式一起使用。

于 2013-06-26T16:15:12.140 回答