stop-words - 如何将波斯语停用词作为参数提供给 CountVectorizer？

Question

我正在尝试在 python (google-colaboratory) 中为 CountVectorizer() 使用波斯语停用词。我不知道我应该如何将波斯语停用词作为参数提供给函数

例如，这是一个波斯语停用词列表，但我不知道如何将列表提供给我的代码

vect = CountVectorizer(stop_words='persian', tokenizer = hazm.word_tokenize).fit(txt)

Answer 1

您可以简单地将所有这些停用词放在 python 中list，然后将列表传递给CountVectorizer. 例如：

persian_stop_words = ["در", "این"]
vect = CountVectorizer(stop_words=persian_stop_words)

Answer 2

您可以使用这个开源存储库来查找波斯语停用词的集合：
https ://github.com/kharazi/persian-stopwords

要加载它们，只需将行复制并粘贴到单个文件中（由新行分隔），然后将其称为“stopwords.data”。然后你可以在你的项目中加载文件并将加载的文件作为你的 CountVectorizer "stop_words" 参数：

persian_stop_words = loadtxt('stopwords.dat', dtype=str, delimiter='\n')
vect = CountVectorizer(stop_words=persian_stop_words)