1

关于如何改进这种方法的任何想法？

这个想法是继续加入连字符，但在它们单独存在时将其删除。示例输出显示

def de_punctuate(xs):
    reg = re.findall(r"[\w'-]+", xs)
    #the pupose of `fun` is to only remove any hyphens that stand alone.
    #i want to keep hyphens-as-joining
    fun = functools.partial(operator.ne, '-')
    return filter(fun, reg)

def no_numbers(xs):
    isa = functools.partial(operator.contains, string.digits)
    fn = lambda x: ''.join(itertools.filterfalse(isa, x))
    return list(filter(fn, xs))

for d in data:
    print(d)
    print(no_numbers(de_punctuate(d)))

输出示例：

Turistguide fikk 40.000 kroner i bot for smugling
['Turistguide', 'fikk', 'kroner', 'i', 'bot', 'for', 'smugling']

- Må kalles opp etter Dale Oen
['Må', 'kalles', 'opp', 'etter', 'Dale', 'Oen']

Kvinne skadet i MC-ulykke ved Haugastøl
['Kvinne', 'skadet', 'i', 'MC-ulykke', 'ved', 'Haugastøl']

输出是我想要的。但我觉得改进的正则表达式会有所帮助！

我认为这看起来有点干净：

def de_punctuate(xs):
    return re.findall(r"[\w']+(?:-[\w']+)*", xs)

def no_numbers(xs):
    return [ x for x in xs if not re.search(r'[0-9]', x) ]
4

3 回答 3

3

尝试这样的事情：

re.findall(r"[\w']+(?:-[\w']+)*", myString)

为了

myString = "walk-the-dog can - i - --have -- a- -- look at your pocket-book?"

这产生：

['walk-the-dog', 'can', 'i', 'have', 'a', 'look', 'at', 'your', 'pocket-book']
于 2012-07-14T00:20:13.253 回答
2

我不怎么使用 functools，所以我把它写成一个列表理解。
一行代码一次性搜索带有数字的单独连字符和标记。

[x for x in your_string.split() if x != '-' and not re.search(r'[0-9]', x)]

在一个包含两个数字、一个独立连字符和一个单词中间的连字符的示例中使用它。

>>> def foo(your_string):
...     return [x for x in your_string.split() if x != '-' and not re.search(r'[0-9]', x)]
...
>>> your_string = 'Turistguide fikk 40.000 kroner i - bot for smugling MC-ulykke'
>>> foo(your_string)
['Turistguide', 'fikk', 'kroner', 'i', 'bot', 'for', 'smugling', 'MC-ulykke']

如果您需要处理多个连字符的独立运行，if则可以轻松修改第一个条件。

于 2012-07-14T00:22:46.483 回答
0

尝试reg = re.findall(r"[a-zA-Z0-9']+-*[a-zA-Z0-9']*", xs)

顺便说一句，你不需要list()aroundfilter()调用 in no_numbers()。

于 2012-07-14T00:53:16.840 回答