0

我目前从事一个项目，该项目只是创建基本的语料库数据库并对文本进行标记。但似乎我陷入了困境。假设我们有这些东西：

import os, re

texts = []

for i in os.listdir(somedir): # Somedir contains text files which contain very large plain texts.
    with open(i, 'r') as f:
        texts.append(f.read())

现在我想在一个标记之前和之后找到这个词。

myToken = 'blue'
found = []
for i in texts:
    fnd = re.findall('[a-zA-Z0-9]+ %s [a-zA-Z0-9]+|\. %s [a-zA-Z0-9]+|[a-zA-Z0-9]+ %s\.' %(myToken, myToken, myToken), i, re.IGNORECASE|re.UNICODE)
    found.extend(fnd)

print myToken
for i in found:
    print '\t\t%s' %(i)

我认为会有三种可能性：token 可能开始句子，token 可能结束句子或者 token 可能出现在句子的某个地方，所以我使用了上面的 regex 规则。当我跑步时，我遇到了这些事情：

blue
    My blue car # What I exactly want.
    he blue jac # That's not what I want. That must be "the blue jacket."
    eir blue phone # Wrong! > their
    a blue ali # Wrong! > alien
    . Blue is # Okay.
    is blue. # Okay.
    ...

我也尝试了 \b\w\b 或 \b\W\b 的东西，但不幸的是那些没有返回任何结果而不是返回错误的结果。我试过了：

'\b\w\b%s\b[a-zA-Z0-9]+|\.\b%s\b\w\b|\b\w\b%s\.'
'\b\W\b%s\b[a-zA-Z0-9]+|\.\b%s\b\W\b|\b\W\b%s\.'

我希望问题不会太模糊。

4

3 回答 3

3

我想你想要的是：

  1. （可选）一个单词和一个空格；
  2. （总是）'blue'；
  3. （可选）一个空格和一个单词。

因此，一种合适的正则表达式是：

r'(?i)((?:\w+\s)?blue(?:\s\w+)?)'

例如：

>>> import re
>>> text = """My blue car
the blue jacket
their blue phone
a blue alien
End sentence. Blue is
is blue."""
>>> re.findall(r'(?i)((?:\w+\s)?{0}(?:\s\w+)?)'.format('blue'), text)
['My blue car', 'the blue jacket', 'their blue phone', 'a blue alien', 'Blue is', 'is blue']

在此处查看演示和逐个令牌的解释。

于 2014-08-08T09:23:18.760 回答
1

假设令牌是测试。

        (?=^test\s+.*|.*?\s+test\s+.*?|.*?\s+test$).*

您可以使用前瞻。它不会吃掉任何东西，同时也可以验证。

http://regex101.com/r/wK1nZ1/2

于 2014-08-08T09:23:08.983 回答
1

正则表达式有时可能很慢（如果没有正确实施），而且在某些情况下接受的答案对我不起作用。

所以我选择了蛮力解决方案（不是说它是最好的），其中关键字可以由几个单词组成：

@staticmethod
def find_neighbours(word, sentence):
    prepost_map = []

    if word not in sentence:
        return prepost_map

    split_sentence = sentence.split(word)
    for i in range(0, len(split_sentence) - 1):
        prefix = ""
        postfix = ""

        prefix_list = split_sentence[i].split()
        postfix_list = split_sentence[i + 1].split()

        if len(prefix_list) > 0:
            prefix = prefix_list[-1]

        if len(postfix_list) > 0:
            postfix = postfix_list[0]

        prepost_map.append([prefix, word, postfix])

    return prepost_map

关键字前后的空字符串分别表示关键字是句子中的第一个词或最后一个词。

于 2017-05-24T12:07:53.430 回答