2

我正在尝试使用 https://github.com/nzw0301/keras-examples/blob/master/Skip-gram-with-NS.ipynb上发布的示例来训练 skip-gram 词嵌入

在 GPU GeForce GTX 1080 上使用英文维基百科(约 1 亿句)。

训练时间非常慢~估计为 27 天 / epoch,词汇量为 50k,这对于那个非常简单的模型来说有点奇怪。我正在使用 CUDA 8 和 CUDNN 5.1。后端是 tensorflow 1.2.0,我使用的是 keras 2.0.2。我想知道之前是否有人用 keras 实现训练了一个 skip-gram 模型?有什么想法为什么上面的实现很慢?我确保预处理不是主要问题。谢谢,

4

0 回答 0