2

最近我正在使用 CNN 进行文本分类,在http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/中有描述。

我的数据集非常大,词汇量超过 100 万个单词。当词汇量变大时,我的训练算法会变得更慢。有一条警告消息说“....tensorflow/python/ops/gradients.py:87: UserWarning: Converting sparse IndexedSlices to a dense Tensor with 145017088 elements。这可能会消耗大量内存。”

我认为这可能是由嵌入矩阵上的密集梯度更新引起的。有人对此有任何想法吗?Tensorflow 中有一篇文章仅更新部分词嵌入矩阵,讨论了类似的问题。最佳答案指出 tensorflow 仅更新特定行。为什么我的情况发生了变化?

谢谢!

4

0 回答 0