如何使用 NLTK 检测文本是用什么语言编写的?
我见过的例子 use nltk.detect
,但是当我在我的 mac 上安装它时,我找不到这个包。
您是否遇到过以下代码片段?
english_vocab = set(w.lower() for w in nltk.corpus.words.words())
text_vocab = set(w.lower() for w in text if w.lower().isalpha())
unusual = text_vocab.difference(english_vocab)
来自http://groups.google.com/group/nltk-users/browse_thread/thread/a5f52af2cbc4cfeb?pli=1&safe=active
还是下面的演示文件?
这个库也不是来自 NLTK,但肯定有帮助。
$ sudo pip install langdetect
支持的 Python 版本 2.6、2.7、3.x。
>>> from langdetect import detect
>>> detect("War doesn't show who's right, just who's left.")
'en'
>>> detect("Ein, zwei, drei, vier")
'de'
https://pypi.python.org/pypi/langdetect?
PS:不要指望它总是能正常工作:
>>> detect("today is a good day")
'so'
>>> detect("today is a good day.")
'so'
>>> detect("la vita e bella!")
'it'
>>> detect("khoobi? khoshi?")
'so'
>>> detect("wow")
'pl'
>>> detect("what a day")
'en'
>>> detect("yay!")
'so'
超级晚了,但是,你可以在这里textcat
使用分类nltk
器。本文讨论了该算法。
它返回ISO 639-3中的国家代码,所以我会用它pycountry
来获取全名。
例如,加载库
import nltk
import pycountry
from nltk.stem import SnowballStemmer
现在让我们看看两个短语,以及guess
它们的语言:
phrase_one = "good morning"
phrase_two = "goeie more"
tc = nltk.classify.textcat.TextCat()
guess_one = tc.guess_language(phrase_one)
guess_two = tc.guess_language(phrase_two)
guess_one_name = pycountry.languages.get(alpha_3=guess_one).name
guess_two_name = pycountry.languages.get(alpha_3=guess_two).name
print(guess_one_name)
print(guess_two_name)
English
Afrikaans
然后,您可以将它们传递给其他nltk
函数,例如:
stemmer = SnowballStemmer(guess_one_name.lower())
s1 = "walking"
print(stemmer.stem(s1))
walk
免责声明显然这并不总是有效,尤其是对于稀疏数据
极端例子
guess_example = tc.guess_language("hello")
print(pycountry.languages.get(alpha_3=guess_example).name)
Konkani (individual language)