machine-learning - 从公开可用的词嵌入中提取更有意义的词

Question

我有两个公开可用的词嵌入，例如 Glove 和 Google Word2vec。然而，在他们的词汇中，有太多拼写错误的词或垃圾词（例如，##AA##、adirty 等）。为了避免这个词，我想提取频繁词（例如，前 50000 个词），因为我认为相对高频词具有范式。

所以，我想知道是否有办法在上述两个预训练的词嵌入中找到词频。如果没有，我想知道是否有一些技术可以排除这个词。

Answer 1

GoogleNews 向量集不包含频率信息，但似乎是从最频繁到最不频繁排序的。因此，如果您将加载它的代码更改为仅加载前 N 个单词，您应该得到 N 个最常用的单词。

（用于训练或使用词向量的 Python gensim 库将此作为函数的一个limit选项load_word2vec_format()。）

GLoVe 可能遵循相同的约定——查看文件中的单词顺序应该会给出一个好主意。