2

我正在使用 2 个进程池来并行解析多个日志文件，

po = Pool(processes=2)
pool_object = po.apply_async(log_parse, (hostgroup_sender_dir, hostname, host_depot_dir,        synced_log, prev_last_pos, get_report_rate), )

(curr_last_pos, remote_report_datetime, report_gen_rate) = pool_object.get()

然而，它在初始运行时相当慢，大约 12 个 ~20Mb 文件约 16 分钟。

考虑到我将每 2 或 3 分钟解析一次日志新字节，在下一次迭代中不会有太大问题，但在第一次运行时肯定还有改进的余地。将日志预先分割成几个较小的拼接（这样 pyparse 就不必将整个日志分配到内存中）会加快速度吗？

我仍在双核开发 VM 上运行它，但很快将不得不迁移到四核物理服务器（我将尝试获得额外的四核 CPU），它可能需要能够管理 ~50日志。

原木的拼接，

log_splice = """
# XX_MAIN     (23143) Report at 2011-08-30 20:00:00.003    Type:  Periodic     #
# Report number 1790                                        State: Active      #
################################################################################
# Running since                  : 2011-08-12 04:40:06.153                     #
# Total execution time           :  18 day(s) 15:19:53.850                     #
# Last report date               : 2011-08-30 19:45:00.002                     #
# Time since last periodic report:   0 day(s) 00:15:00.000                     #
################################################################################
                            ----------------------------------------------------
                            |       Periodic        |          Global          |
----------------------------|-----------------------|--------------------------|
Simultaneous Accesses       |  Curr  Max Cumulative |      Max    Cumulative   |
--------------------------- |  ---- ---- ---------- |     ---- -------------   |
Accesses                    |     1    5          - |      180             -   |
- in start/stop state       |     1    5      12736 |      180      16314223   |
-------------------------------------------------------------------------------|
Accesses per Second         |    Max   Occurr. Date |      Max Occurrence Date |
--------------------------- | ------ -------------- |   ------ --------------- |
Accesses per second         |  21.00 08-30 19:52:33 |    40.04  08-16 20:19:18 |
-------------------------------------------------------------------------------|
Service Statistics          |  Success    Total  %  |   Success      Total  %  |
--------------------------- | -------- -------- --- | --------- ---------- --- |
Services accepted accesses  |    17926    17927  99 |  21635954   21637230 -98 |
- 98: NF                    |     7546     7546 100 |  10992492   10992492 100 |
- 99: XFC                   |    10380    10380 100 |  10643462   10643462 100 |
 ----------------------------------------------------------------------------- |
Services succ. terminations |    12736    12736 100 |  16311566   16314222  99 |
- 98: NF                    |     7547     7547 100 |  10991401   10992492  99 |
- 99: XFC                   |     5189     5189 100 |   5320165    5321730  99 |
 ----------------------------------------------------------------------------- |
"""

使用 pyparse，

unparsed_log_data = input_log.read()

#------------------------------------------------------------------------
# Define Grammars
#------------------------------------------------------------------------
integer = Word( nums )

# XX_MAIN     ( 4801) Report at 2010-01-25 06:55:00
binary_name = "# XX_MAIN"
pid = "(" + Word(nums) + ")"
report_id = Suppress(binary_name) + Suppress(pid)

# Word as a contiguous set of characters found in the string nums
year = Word(nums, max=4)
month = Word(nums, max=2)
day = Word(nums, max=2)
# 2010-01-25 grammar
yearly_day_bnf = Combine(year + "-" + month + "-" + day)
# 06:55:00. grammar
clock24h_bnf = Combine(Word(nums, max=2) + ":" + Word(nums, max=2) + ":" + Word(nums,     max=2) + Suppress("."))
timestamp_bnf = Combine(yearly_day_bnf + White(' ') + clock24h_bnf)("timestamp")

report_bnf = report_id + Suppress("Report at ") + timestamp_bnf

# Service Statistics          |  Success    Total  %  | 
# Services succ. terminations |       40       40 100 |   3494775    3497059  99 |
partial_report_ignore = Suppress(SkipTo("Services succ. terminations", include=True))
succ_term_bnf = Suppress("|") + integer("succTerms") + integer("totalTerms")
terminations_report_bnf = report_bnf + partial_report_ignore + succ_term_bnf

# Apply the BNF to the unparsed data
terms_parsing = terminations_report_bnf.searchString(unparsed_log_data)
4

1 回答 1

3

我将围绕解析单个日志条目构建解析器。这完成了两件事：

  1. 它将问题分解为易于并行化的块
  2. 在处理完初始积压的日志数据后，它将您的解析器定位为处理增量日志处理

然后，您的并行化块大小是一个很好地打包的单个项目，并且每个进程都可以单独解析该项目（假设您不需要将任何状态或经过的时间信息从一个日志消息传递到下一个）。

编辑（这个问题已经演变成更多关于 pyparsing 调优的话题......）

我发现最好定义Combine(lots+of+expressions+here)使用 pyparsing Regex 表达式构建的低级原语。这通常适用于实数或时间戳等表达式，例如：

# 2010-01-25 grammar
yearly_day_bnf = Combine(year + "-" + month + "-" + day)
yearly_day_bnf = Regex(r"\d{4}-\d{2}-\d{2}")

# 06:55:00. grammar
clock24h_bnf = Combine(Word(nums, max=2) + ":" + 
                       Word(nums, max=2) + ":" + 
                       Word(nums, max=2) + Suppress("."))
clock24h_bnf = Regex(r"\d{2}:\d{2}:\d{2}\.")
clock24h_bnf.setParseAction(lambda tokens:tokens[0][:-1])

timestamp_bnf = Combine(yearly_day_bnf + White(' ') + clock24h_bnf)
timestamp_bnf = Regex(r"\d{4}-\d{2}-\d{2}\s+\d{1,2}:\d{2}:\d{2}")

不过，没必要过度。诸如此类的事情integer=Word(nums)已经在幕后产生了可再生能源。

请注意，我还从 timestamp_bnf 中删除了结果名称。我通常会从原语定义中去掉结果名称，并在将它们组装成更高级别的表达式时添加它们，这样我就可以多次使用相同的原语，但名称不同，例如：

summary = ("Started:" + timestamp_bnf("startTime") + 
           "Ended:" + timestamp_bnf("endTime"))

我发现这也有助于我组织我解析的结构。

将结果名称移动到更高的表达式也导致我给该字段一个更具描述性的名称：

report_bnf = report_id + Suppress("Report at ") + timestamp_bnf("reportTime")

查看您的语法，您并没有真正破解所有这些报告信息，只是从这一行中提取报告时间：

# XX_MAIN     (23143) Report at 2011-08-30 20:00:00.003

和来自这一行的 2 个整数字段：

Services succ. terminations |    12736    12736 100 |  16311566   16314222  99 |

试试这个：

report_bnf = report_id + Suppress("Report at") + timestamp_bnf("reportTime")
succ_term_bnf = (Suppress("Services succ. terminations") + Suppress("|") + 
                        integer("succTerms") + integer("totalTerms"))
log_data_sources_bnf = report_bnf | succ_term_bnf

extractLogData = lambda logentry : sum(log_data_sources_bnf.searchString(logentry))

print extractLogData(log_slice).dump()

Pyparsing 总是比 RE 慢，在您的情况下，pyparsing 解析器可能只是原型设计的垫脚石。我确定我无法使用 pyparsing 解析器获得 500 倍的性能，您可能只需要使用基于 RE 的解决方案来处理 Mb 的日志文件。

于 2011-08-29T23:58:12.267 回答