3

我正在从另一个文件的行中搜索一个值。确切的值只会在搜索文件中出现一次。我怎样才能使这个过程更快？这是我当前的代码：

filltaxlist = open("file with query number.txt", "rw")
fulltaxa = open("output file with hit line match", "rw")

for line in filltaxalist:
    line = line.strip()
    taxid = re.split("\t", line)
    lookup = taxid[5] # this value is a number and I need the exact match only so I convert it to an integer
    int1 = int(lookup)
    for line in open("File to search.txt", "r"):
        data = re.split(',', line)
        hit = int(data[0]) # every value in this file is a number separated by a ,
        if lookup in line:
            if int1 == hit:
                fulltaxa.write(line)

这很好用，因为它写得很慢。此外，我正在搜索的文件大小超过 GB。这

行示例filltaxlist：

cvvel_1234    403454663    29.43    3e-30    55.55555555234    1172189
cvell_1444    2342333      30.00    1e-50    34.34584359345    5911
cvell_1444    234230055    23.23    1e-60    32.23445983454    46245
cvell_1444    233493003    23.44    1e-43    35.23595604593    46245

fulltaxa应该返回什么：

1172189, 5943, 1002030, 12345
5911, 11234, 112356, 234, 3456, 44568, 78356
46245, 123, 3432456, 123488976, 23564, 334
46245, 123, 3432456, 123488976, 23564, 334
4

2 回答 2

4

使用数据库

正如其他人所提到的，最简单的方法可能是将其转储到数据库中（例如 sqllite）。如果需要与语言交互，可以使用 python 绑定。

纯 Python 解决方案

您完全读取fulltaxa中的每个条目filltaxlist（由于嵌套的顺序），首先缓存所有查询，然后fulltaxa只读取一次，然后对输出进行排序以重新获得fulltaxa.

由于查询的顺序是导入的，我们应该使用 FIFO 结构——在我们的例子中，双端队列会做得很好。

from collections import defaultdict
filltaxlist = open("file with query number.txt", "rw")
fulltaxa = open("output file with hit line match", "rw")

possibles = {}
for i, line in enumerate(filltaxalist):
    line = line.strip()
    taxid = re.split("\t", line)
    lookup = taxid[5] # this value is a number and I need the exact match only so I covert it to an integer
    int1 = int(lookup)
    possibles[int1] = i

output_lines = defaultdict(list)
for line in open("File to search.txt", "r"):
    data = re.split(',', line)
    hit = int(data[0]) # every value in this file is a number separated by a ,
    if hit in possibles:
        output_lines[possibles[hit]].append(line)

fulltaxa.writelines(line for lines in output_lines.values() for line in lines)

当您用完查询时，上面的代码将抛出 IndexError

其他一些小的改进。

data = re.split(',', line)

可能比

data = line.split(',')

但是您应该配置文件以确保这在您的情况下是有意义的。

于 2013-06-08T19:07:50.470 回答
1

你的算法是 O(m * n)。可以通过使用字典来制作 O(m + n) 算法。即使 m 很小，它也可能是 Python 中的一个重大改进，其中字典访问的常量因素与任何其他语句没有太大区别。

filltaxalist = open("file with query number.txt", "rw")
fulltaxa = open("output file with hit line match", "rw")

filltaxadict = {}
for i, line in enumerate(filltaxalist):
    line = line.strip()
    taxid = re.split("\t", line)
    lookup = taxid[5] # this value is a number and I need the exact match only so I convert it to an integer
    int1 = int(lookup)

    filltaxadict[int1] = i

results = [[]] * len(filltaxadict)
for line in open("File to search.txt", "r"):
    data = re.split(',', line)
    hit = int(data[0]) # every value in this file is a number separated by a ,
    match = filltaxadict.get(hit)
    if match is not None:
        results[match].append(line)

for result in results:
    fulltaxa.writelines(result)

这会以正确的顺序处理重复项；如果你不需要，稍微简单一点。要搜索的文件可能很大；这不会将其内容保留在内存中，只会保留 filltaxalist 的（一部分）内容，我认为这不是异常大。

于 2013-06-08T19:57:40.117 回答