我有 1000 万个词的词嵌入,这些词是在一个庞大的语料库上训练的。现在我想为词汇表之外的词生成词嵌入。我可以设计一些 char RNN 来使用这些词嵌入并为词汇之外的词生成嵌入吗?或者还有其他我可以获得OOV单词的嵌入吗?
FastText 能够为 OOV 生成词嵌入,但它没有分布式训练或 GPU 实现方式,所以在我的例子中,完成训练可能需要将近 3 个月的时间。对此有何建议?
我有 1000 万个词的词嵌入,这些词是在一个庞大的语料库上训练的。现在我想为词汇表之外的词生成词嵌入。我可以设计一些 char RNN 来使用这些词嵌入并为词汇之外的词生成嵌入吗?或者还有其他我可以获得OOV单词的嵌入吗?
FastText 能够为 OOV 生成词嵌入,但它没有分布式训练或 GPU 实现方式,所以在我的例子中,完成训练可能需要将近 3 个月的时间。对此有何建议?