有人能给我一个关于Tensorflow的sampled_softmax_loss 的简单例子吗？
我尝试使用 sampled_softmax_loss 更改本教程的softmax 和cross_entropy ，其中num_sampled具有不同的数字，但结果非常糟糕。
问问题
1411 次
1 回答
1
当您有大量的输出类时，使用示例 softmax 。主要原因是如果你对大量的输出类使用正常的 softmax 损失，比如说 5000，它的效率非常低，而且我们的计算机计算起来很麻烦。因此，在计算 softmax 损失时，样本 softmax 将只关注类别总数中的 k 个类别。
使用的一个示例是 tensorflow 中的序列到序列模型。
这些模块可以预测顺序发生的事情。假设给定一个句子预测下一个单词。所以在这里为了预测这个词你有很多输出类。在这种情况下，它等于词汇量。所以 sample softmax 在这方面非常方便。 链接到 tensorflow seq2seq 模型
于 2017-04-10T20:08:35.223 回答