0

我有一本关于生物医学实体的术语词典。每个术语（键）都有一个标识符（值）列表。

我必须在自由文本中找到这个术语。我有几本大约 300,000 个术语的词典，对于这个任务，我使用 Python 和 Java 来评估速度。

该算法就像（在 Python 中）：

for sentence in text_list:
    terms = dictionary.keys()
    pattern = re.compile("|".join(terms))
    matches = pattern.finditer(sentence)
    for m in matches:
        ini = m.start()
        end = m.end()
        match = m.group(1)
        save_result(ini, end, match)

我正在使用pypi.python.org/pypi/regex包，因为标准 re 包无法编译我的长正则表达式。此外，我在 Java 中完成了相同的算法。

我使用了大约 650,000 个句子，在 Python 中，编译需要 3-4 分钟，算法可以在 3-4 小时内完成。

Java 在几秒钟内编译正则表达式，但算法需要 16-18 小时...O_o

我一直在阅读不同的网站，http://swtch.com/~rsc/regexp/regexp1.html有一个有趣的信息，但我不知道如何处理。

我的问题是......我已经在大约 3 小时内完成了所有句子，你知道另一种在更短的时间内完成同样任务的方法吗？也许用其他语言，或者使用其他库或包？（在 Java 中，我使用的是标准库java.util.regex.*）。上面的网站谈到了 Thonpson NFA 算法，有这个算法的库或包，用于 Java、Python 或其他什么？grep（Linux）是一个强大的工具，你认为我可以使用它吗？

4

2 回答 2

2

正则表达式对于这项工作来说是一个错误的工具。使用您的术语创建一个字典（Python 的哈希表名称），将您的文本拆分为单词（使用 string.split 和 string.rstrip 删除标点符号），并根据该字典检查文本中的每个单词。

于 2012-07-30T13:50:19.967 回答
0

您正在为文本的每个句子重建和重新编译 RE。在循环外编译一次：

terms = dictionary.keys()              # why are you using a dict?
pattern = re.compile("|".join(terms))

for sentence in text_list:
    matches = pattern.finditer(sentence)
    # etc.

这应该可以节省你一些时间。

如果您想要一个具有 Cox 描述的算法的 RE 库，请四处寻找与他的RE2库的 Python 或 Java 绑定。或者，使用egrep或 Awk。

于 2012-07-30T15:19:56.703 回答