2

我是 python 新手并且坚持如何做到这一点。我有一个大约 4GB 的非常大的文本文件，其中包含错误消息。文本文件中的每个消息行代表一条消息，我需要过滤掉几列并将空格字符替换为 |。例子：

input:
83b14af0-949b-71e0-18d5-0ad781020000 40ba8352-8dd2-71dc-12b8-0ad781020000 1 -1407714483 20 COLG-GRA-617-RD1.oss 1 181895426 12 oss-ap-1.oss 0 0 48 0 0 0 1307845644 1307845647 0 2 12 0 0 0  0 0 12 0 0 0  0 0 1307845918 3 OpC 6 opcecm 9 SNMPTraps 8 IBB_COLG 4 ATM0 0  0  0  69 Cisco Agent Interface Up (linkUp Trap) on interface ATM0 --Sev Normal 372 Generic: 3; Specific: 0; Enterprise: .1.3.6.1.4.1.9.1.569;
output:
83b14af0-949b-71e0-18d5-0ad781020000 | 40ba8352-8dd2-71dc-12b8-0ad781020000 | COLG-GRA-617-RD1.oss | 1307845644 | 1307845647 |1307845918 | Cisco Agent Interface Up (linkUp Trap) on interface ATM0 | Normal 372 | Generic: 3 | Specific: 0 | Enterprise: .1.3.6.1.4.1.9.1.569

我真的很感激任何帮助

谢谢

4

3 回答 3

2

您的输入文件格式很烦人。我们可以在空白处拆分输入，但是您要捕获的某些字段应该包含空白。我们可以将输入拆分为列号，但我不确定每个字符串的长度是否始终相同；这些数字的位数似乎可能会有所不同。所以最好的解决方案应该涉及正则表达式。

用一个正则表达式来解析整行，写起来和理解起来都会很麻木。但是我们可以从较短的模式构建模式。我认为结果很容易理解。此外，如果文件格式发生变化或您要捕获的字段发生变化，我认为您可以很容易地更改它。

请注意，我们使用 Python 的“字符串重复”运算符*来重复较短的模式。如果我们想要识别和捕获 2 个单词，我们可以使用c*2重复捕获模式两次。

在您所需输出的示例中，您有一些额外的空白。我编写的模式不捕获任何空白，但如果您真的想要空白，您可以根据需要编辑模式。

如果您不了解正则表达式，您应该阅读 Pythonre模块的文档。简而言之，括号中的模式部分将被捕获，其他部分将匹配但不被捕获。 \s匹配空白，并\S匹配非空白。 +在一个模式中表示“1 或更多”并且*表示“0 或更多”。 ^并$分别匹配模式的开头和结尾。

import re

# Define patterns we want to recognize.

c = r'(\S+)\s+'  # a word we want to capture
s = r'\S+\s+'  # a word we want to skip
mesg = r'(\S.*\S)\s+--Sev\s+'  # mesg to capture; terminated by string '--Sev'
w2 = r'(\S+\s+\S+)\s+'  # two words separated by some white space
w2semi = r'(\S+\s+\S+)\s*;\s+'  # two words terminated by a semicolon
tail = r'(.*\S)\s*;'

# Join together the above patterns to make one giant pattern that parses
# the input.
s_pat = ( r'^\s*' + 
    c*2 + s*3 + c*1 + s*10 + c*2 + s*14 + c*1 + s*14 +
    mesg + w2 + w2semi*2 + tail +
    r'\s*$')

# Pre-compile the pattern for speed.
pat = re.compile(s_pat)

# Test string and the expected output result.
s_input = "83b14af0-949b-71e0-18d5-0ad781020000 40ba8352-8dd2-71dc-12b8-0ad781020000 1 -1407714483 20 COLG-GRA-617-RD1.oss 1 181895426 12 oss-ap-1.oss 0 0 48 0 0 0 1307845644 1307845647 0 2 12 0 0 0  0 0 12 0 0 0  0 0 1307845918 3 OpC 6 opcecm 9 SNMPTraps 8 IBB_COLG 4 ATM0 0  0  0  69 Cisco Agent Interface Up (linkUp Trap) on interface ATM0 --Sev Normal 372 Generic: 3; Specific: 0; Enterprise: .1.3.6.1.4.1.9.1.569;"
s_correct = "83b14af0-949b-71e0-18d5-0ad781020000|40ba8352-8dd2-71dc-12b8-0ad781020000|COLG-GRA-617-RD1.oss|1307845644|1307845647|1307845918|Cisco Agent Interface Up (linkUp Trap) on interface ATM0|Normal 372|Generic: 3|Specific: 0|Enterprise: .1.3.6.1.4.1.9.1.569"

# re.match() returns a "match group"
m = re.match(pat, s_input)
# m.groups() returns sequence of captured strings; join with '|'
s_output = '|'.join(m.groups())

# sanity check
if s_correct == s_output:
    print "excellent"
else:
    print "bogus"

# excellent.

通过编写、测试和调试模式，编写程序来实际处理文件非常简单。

# use the pattern defined above, named "pat"
with open(input_file, "r") as f_in, open(output_file, "w") as f_out:
    for line_num, line in enumerate(f_in, 1):
        try:
            m = re.match(pat, line)
            s_output = '|'.join(m.groups())
            f_out.write(s_output + '\n')
        except Exception:
            print("unable to parse line %d: %s" % (line_num, line)

这将一次读取文件一行，处理该行，并将处理后的行写入输出文件。

请注意，我with在一行上使用了多个语句。这适用于任何最近的 Python，但不适用于 2.5 或 3.0。

于 2012-04-09T07:54:04.423 回答
1

replace()对您读入的行使用字符串的内置方法。有关字符串方法的列表，请参见http://docs.python.org/library/stdtypes.html#string-methods 。

new_string = my_string.replace(' ', ' | ')

如果您还需要删除“列”，那么您将有更多的运气先拆分字符串，使用“切片”消除列，然后加入拆分器上的列表。

cols = my_string.split(' ')
cols = cols[:2] + cols[4:8] + cols[11:]  #Just making up some arbitrary removed columns
new_string = ' | '.join(cols)

请注意，这假定您的输入将始终以空格分隔，并且您的数据不包含空格。如果您的输入数据更复杂，拆分代码会变得更有趣。

于 2012-04-09T06:41:29.140 回答
0

如果您使用的是 linux，使用 sed 命令很容易替换字符。它会比在 python 中逐行读取要快，因为你的文件太大了。

sed -i 's/pattern/|/g' inputfile

上面的命令将用 | 替换所有模式字符串。

于 2012-04-09T08:26:42.760 回答