tensorflow - 在 ptb_word_lm.py 中 eval_config 将参数设置为 1 的原因

Question

在检查 Tensorflow 的 PTB 语言模型中的评估设置时，我对 eval_config 中的评估设置感到困惑：

  eval_config = get_config()
  eval_config.batch_size = 1
  eval_config.num_steps = 1

在https://github.com/tensorflow/models/blob/master/tutorials/rnn/ptb/ptb_word_lm.py

据我所知，在评估过程中，上下文单词的窗口（最大可能为 num_steps 大小）用于预测下一个单词，该单词存储在单独的目标张量中。如果 num_steps 设置为 1，是否意味着只有前面的单词用于预测（忽略上下文窗口大小>1）？同样在评估期间，为什么 batch_size 也设置为 1。将更大的批次输入网络以进行评估是否有意义？

Answer 1

我相信仅在输出中展开一步就是评估第一次看到的每个单词。这也可能是批量大小为 1 的原因。