-1

我有一个 NLP 项目，我想删除关键字中只出现一次的单词。也就是说，对于每一行，我都有一个关键字列表及其频率。

我想要类似的东西

if the frequency for the word in the whole column ['keywords'] ==1 then replace by "".

我无法逐字测试。所以我的想法是创建一个包含所有单词的列表并删除重复项，然后对于此列表中的每个单词 count.sum 然后删除。但我不知道该怎么做。有任何想法吗？谢谢！

这是我的数据的样子：

样品头（4）

    ID  keywords                                            age sex
0   1   fibre:16;quoi:1;dangers:1;combien:1;hightech:1...   62  F
1   2   restaurant:1;marrakech.shtml:1  35  M
2   3   payer:1;faq:1;taxe:1;habitation:1;macron:1;qui...   45  F
3   4   rigaud:3;laurent:3;photo:11;profile:8;photopro...   46  F
4

2 回答 2

0

你的代表使这变得困难。您应该构建一个数据框，其中每列都是一个单词；然后你可以轻松地使用像 sum 这样的 pandas 操作来做任何你想做的事情。

然而，这将导致一个非常稀疏的数据帧，这从来都不是好事。

许多库，例如scikit learn'sCountVectorizer允许你高效地做你想做的事。

于 2020-04-13T13:17:35.093 回答
0

要添加@jpl 提到的 scikit-learn 的内容CountVectorizer，有一个选项min_df可以完全满足您的需求，前提是您可以以正确的格式获取数据。这是一个例子：

from sklearn.feature_extraction.text import CountVectorizer
# assuming you want the token to appear in >= 2 documents
vectorizer = CountVectorizer(min_df=2)
documents = ['hello there', 'hello']
X = vectorizer.fit_transform(documents)

这给了你：

# Notice the dimensions of our array – 2 documents by 1 token
>>> X.shape
(2, 1)
# Here is a count of how many times the tokens meeting the inclusion
# criteria are observed in each document (as you see, "hello" is seen once
# in each document
>>> X.toarray()
array([[1],
       [1]])
# this is the entire vocabulary our vectorizer knows – see how "there" is excluded?
>>> vectorizer.vocabulary_
{'hello': 0}
于 2020-04-13T13:26:42.323 回答