1

我正在尝试使用 Python 正则表达式从 3GB 日志文件中提取数据作为元组。

日志的格式如下。

2012-11-22 08:57:25,232 [P:DEBUG] moteId=245 statusElem=1
2012-11-22 08:57:25,042 [P:DEBUG] parsed into Tuple_IsSync(isSync=1)
2012-11-22 08:57:26,128 [P:DEBUG] parsed into Tuple_ScheduleRow(row=9, slotOffset=9, type=6, shared=0, channelOffset=0, neighbor_type=0, neighbor_bodyH=0, neighbor_bodyL=0, backoffExponent=1, backoff=0, numRx=0, numTx=0, numTxACK=0, lastUsedAsn_4=0, lastUsedAsn_2_3=0, lastUsedAsn_0_1=0, next=7638)

我想要元组：

(2012-11-22, 08:57:25,042, moteId=245, statusElem=1, isSync=1, numRx=0, numTx=0, numTxACK=0,)

在一行中。

import re
import sys

files=open('/Users/s/Desktop/p.log','r')

match=re.findall(r'\w[\s*moteId\s(statusElem)(isSync)(numTxAck).*]+.\d+',files.read())
f=open('/Users/s/Desktop/w.txt','w')
f.writelines(match)
f.close()

我的代码并没有完全提取我正在寻找的内容。有什么建议么？

4

1 回答 1

1

好吧，这不是正则表达式，只是标准序列方法和切片，但它有效，至少对于您提供的数据：

from StringIO import StringIO

data = '''
2012-11-22 08:57:25,232 [P:DEBUG] moteId=245 statusElem=1
2012-11-22 08:57:25,042 [P:DEBUG] parsed into Tuple_IsSync(isSync=1)
2012-11-22 08:57:26,128 [P:DEBUG] parsed into Tuple_ScheduleRow(row=9, slotOffset=9, type=6, shared=0, channelOffset=0, neighbor_type=0, neighbor_bodyH=0, neighbor_bodyL=0, backoffExponent=1, backoff=0, numRx=0, numTx=0, numTxACK=0, lastUsedAsn_4=0, lastUsedAsn_2_3=0, lastUsedAsn_0_1=0, next=7638)
'''

flo = StringIO(data)
mlst = []
for line in flo:
    lst = line.split()

    if 'moteId' in line:
        mote, status = lst[3], lst[4]

    elif 'isSync' in line:
        dt, tm = lst[0], lst[1]
        sync = lst[-1][-9:-1]

    elif 'Tuple_ScheduleRow' in line:
        numRx = lst[15].replace(',', '')
        numTx = lst[16].replace(',', '')
        numTxACK = lst[17].replace(',', '')
        t = dt, tm, mote, status, sync, numRx, numTx, numTxACK
        mlst.append(t)

我使用 StringIO 来模拟一个文件，您将只使用该文件。最后我将元组存储在主列表中。但是，如果您对这种大小的文件执行此操作，您可能会感到抱歉，具体取决于您的内存情况。最好对元组做任何你需要做的事情，然后让它被 gc'd。如果您必须使用正则表达式，那么您仍然可以使用此逻辑并为每种线型应用不同的正则表达式，替换我的切片等。

这当然不是优化的，但希望它能给你一些想法并有所帮助。

麦克风

于 2012-11-22T22:21:27.790 回答