1

我有以下格式的数据：

<abc>  <anything2> <anything3>.
<_901>  <first> <something1>.
<_905>  <second> <something2>.
<_910>  <anything> <something3>.
<_901>  <second> <something4>.
<_905>  <first> <something6>.
<_901>  <third> <something5>.
<_905>  <third> <something7>.

现在，我想将与第一列和第二列的（第一、第二、第三）值对应的所有信息组合在一起，以便获得以下形式的聚合信息：

   <abc>  <anything2> <anything3>.
   <_901> <something1> <something4> <something5>.
   <_905> <something6> <something2> <something7>.
   <_910>  <anything> <something3>.

我尝试使用 python 字典来实现这一点。但是因为我有一个 2 Tera 字节的文件。我的程序内存不足，效率很低。python中有没有更快的方法来实现这一点。如果是，那么有人可以举例说明吗？

4

3 回答 3

1

首先，您可以尝试使用 unix 工具对数据进行排序sort（它可以很好地处理非常大的文件）。然后具有相同第一个和第二个字段的行将处于连续块中，以便您可以使用 python 脚本遍历它们并以您喜欢的格式输出。下面给出了一个示例，说明您不希望在第二列中没有第一、第二或第三的任何数据。

# merger.py
# this python script takes in a file with sorted lines and gives your output
import sys

prevtag = None
data = ['', '', '']
printed = True
for line in sys.stdin:
    fields = line.strip().split()
    if fields[0] != prevtag:
        if not printed:
            print prevtag, ' '.join(data)
            printed = True
        prevtag = fields[0]
        data = ['', '', '']
    if fields[1] == '<first>':
        data[0] = fields[2]
        printed = False
    if fields[1] == '<second>':
        data[1] = fields[2]
        printed = False
    if fields[1] == '<third>':
        data[2] = fields[2]
        printed = False
if not printed:
    print prevtag, ' '.join(data)

现在您可以将 的输出通过管道sort传输到此脚本中以实现您想要的。

sort <inputfile> | python merger.py

输入：

<abc>  <anything2> <anything3>
<_901>  <first> <something1>
<_905>  <second> <something2>
<_910>  <anything> <something3>
<_901>  <second> <something4>
<_905>  <first> <something6>
<_901>  <third> <something5>
<_905>  <third> <something7>

输出：

<_901> <something1> <something4> <something5>
<_905> <something6> <something2> <something7>
于 2013-10-11T00:50:59.803 回答
0

这可能会给你一些想法。我使用了 David Beazely 关于系统程序员生成器技巧的讲座中的一些内容。由于您的文件很大，我将这些<something>值存储在单独的文件中。您也许可以将它们附加到列表/字典中；我不确定。每次打开、添加和关闭文件对我来说似乎效率很低，但我想不出其他任何东西。 

from __future__ import division, print_function
from StringIO import StringIO
import re
import os
import glob

#for generator details see see http://www.dabeaz.com/generators/

def gen_grep_groups(pat, lines):

    patc = re.compile(pat)
    for line in lines:
        match = patc.search(line)
        if match:
            yield match.groups()

def logme(pairs, ext='.special_list'):
    for name, thing in pairs:
        #there must be a better way than opening and closing each time
        f = open(name + ext,'a')
        f.writelines(thing +'\n')
        f.close()


data = StringIO("""<abc>  <anything2> <anything3>.
<_901>  <first> <something1>.
<_905>  <second> <something2>.
<_910>  <anything> <something3>.
<_901>  <second> <something4>.
<_905>  <first> <something6>.
<_901>  <third> <something5>.
<_905>  <third> <something7>.""")

#for a file use data = open(filename)



pat = r'<(.+?)>\s+<(?:first|second|third)>\s+<(.+?)>'
ext = ".special_list"
#patternc = re.compile(pattern)

for f in glob.glob('*'+ ext):
    os.remove(f) #remove any existing files

pairs = gen_grep_groups(pat,data)
logme(pairs, ext)


for filename in glob.glob('*'+ ext):
    #do what you want in here    
    name = os.path.splitext(filename)[0]
    print(name)
    f = open(filename,'r')    
    print(f.read())
    f.close()
于 2013-10-11T05:15:29.443 回答
0

对于这么大的文件，可能适合多次读取。

首先，读取行并将关键字段与数据所在的行号（或者更好：文件位置）一起存储：

pos = {}
filepos = file.tell()
for line in file:
    sline = line.split()
    pos.setdefault(sline[0], []).append(filepos)
    filepos.file.tell() # for the next read

现在你有一个字典，比如 {'': [0], <_901>: [25, 87], ...}

现在您可以遍历 dict 并执行

for key, fileposes in pos.iteritems():
    if len(fileposes) == 1:
        file.seek(fileposes[0])
        print file.readline()
    else:
        outlinedata = []
        for filepos in fileposes:
            file.seek(fileposes[0])
            line = file.readline()
            sline = line.split()
            outlinedata.append(sline[2])
        print key, " ".join(outlinedata)

（但我不确定tell/seek一方面和文件的逐行读取和缓冲是否不会相互干扰......）

于 2013-10-11T05:30:51.147 回答