keras - 如何在预训练的 ELMO 嵌入中获得相似的单词？

Question

如何在预训练的 ELMO 嵌入中获得给定单词的相似词？例如：在 Glove 中，我们有 glove_model.most_similar() 来查找最相似的词及其对任何给定词的嵌入。同样，我们在 ELMO 中有什么东西吗？

Answer 1

与 GloVe 为有限词汇中的每个单词都有一个单独的条目不同，ELMo 使用字符级 CNN 动态计算词嵌入，因此理论上，ELMo 应该能够处理无限的词汇。在实践中，它只适用于它在训练期间遇到的单词和与之相似的单词，但它仍然能够获得向量或任意字符串。

因此，像 GloVe 那样拥有一种方法并没有多大意义。但是，您可以为您感兴趣的词汇表预先计算向量并自己实现最近邻搜索，例如，使用scipy.spatial.cKDTree.