0

我是机器学习的新手。我目前想要的是对某些单词是否属于某个类别进行分类..

让我更具体地说,在输入一些单词时,我需要检查这些单词是否属于称为“马拉雅拉姆语”的语言。

示例:enthayi ninakk sugamanno?

这些是一些用英语表达的马拉雅拉姆语单词。在给出这样的输入时,它需要检查经过训练的数据,如果任何输入词属于“马拉雅拉姆语”类别,那么它需要显示它是马拉雅拉姆语。

我试图做的..

我尝试使用 NaiveBayesClassifier 对其进行分类,但它始终显示所有输入数据的积极响应。

train = [
('aliya','Malayalam')]
cl = NaiveBayesClassifier(train)
print cl.classify('enthayi ninakk sugamanno')

但是打印语句给出了输出“马拉雅拉姆语”

4

1 回答 1

3

您需要正数据和负数据来训练分类器。添加一堆英文文本或您的域中可能存在的任何替代文本并不难。但是您需要阅读 nltk 分类器的实际工作原理,否则您将只能处理您在训练数据中看到的单词:您需要选择并提取分类器将用来执行的“特征”它的工作。

因此(从评论中)您想将单个单词归类为马拉雅拉姆语或非马拉雅拉姆语。如果您的“特征”是完整的单词,那么您就是在用分类器浪费时间;只需制作马拉雅拉姆语单词的 Python set(),并检查您的输入是否在其中。要走分类器路线,您必须弄清楚是什么让单词“看起来”马拉雅拉姆语(词尾?长度?音节结构?)并手动将这些属性转换为特征,以便分类器可以确定它们的重要性。

一种更好的语言检测方法是使用字母三元组:每种语言都有不同的常见和不常见三元组“配置文件”。您可以搜索它,或编写自己的代码。我用“余弦相似度”作为示例文本和参考数据之间距离的度量,得到了很好的结果。在这个问题中,您将看到如何计算余弦相似度,但对于 unigram 计数;使用三元组进行语言识别。

trigram 方法的两个好处:你不依赖于熟悉的单词,或者想出聪明的特征,你可以将它应用于比单个单词更长的文本段(即使在过滤掉英语之后),这会给你更多可靠的结果。nltk 的langid语料库提供了数百种常用语言的 trigram 计数,但编译您自己的统计数据也很容易。(另见nltk.util.trigrams()。)

于 2017-09-24T17:49:20.173 回答