python - 在 python NLTK 中，我想获得非空白字符串的形态分析结果

Question

我想从 NLTK 获得非空白字符串的形态分析结果。

例如：

字符串是"societynamebank".

我想得到['society', 'name', 'bank']

如何在 NLTK 上获得该结果？

Answer 1

这是一个简单的代码，可以帮助你。它使用 pyEnchant 字典进行形态分析：

>>> import enchant
>>> d = enchant.Dict("en_US")
>>> tokens=[]
>>> def tokenize(st):
...    if not st:return
...    for i in xrange(len(st),-1,-1):
...       if d.check(st[0:i]):
...          tokens.append(st[0:i])
...          st=st[i:]
...          tokenize(st)
...          break
... 
>>> tokenize("societynamebank")
>>> tokens
['society', 'name', 'bank']
>>> tokens=[]
>>> tokenize("HelloSirthereissomethingwrongwiththistext")
>>> tokens
['Hello', 'Sir', 'there', 'is', 'something', 'wrong', 'with', 'this', 'text']