1

我正在研究 tensorflow 的 texsum 模型,它是文本摘要。我正在遵循github/textsum自述文件中指定的命令。它说数据文件夹中存在的名为验证的文件将在评估步骤中使用,但数据文件夹中没有验证文件。

我想自己做一个,后来意识到它应该是一个二进制文件。所以我需要准备一个文本文件,它将被转换为二进制文件。但是该文本文件必须具有特定的格式。会和train step中使用的文件一样吗?我可以对训练步骤和评估步骤使用相同的文件吗?我遵循的步骤顺序是:

第 1 步:使用提到的玩具数据集“更新”的词汇文件训练模型

第 2 步:训练持续了一段时间,在 running_avg_loss: 3.590769 处“被杀死”

第 3 步:使用与训练相同的数据和词汇文件进行 eval 步骤,我运行了 eval。它继续运行,running_avg_loss 在 6 到 7 之间

如果要使用相同的文件,我对第 3 步表示怀疑。

4

1 回答 1

1

因此,您不必运行 eval ,除非您实际上是在训练后测试您的模型,以确定训练如何针对从未见过的另一组数据进行。我也一直在唱它以确定我是否开始过度拟合数据。

因此,您通常会占用整个数据集的 20-30% 并将其用于评估过程。然后,您可以针对您的训练数据进行训练。完成后,您可以根据需要立即运行 decode,或者您可以对从一开始留出的 20% - 30% 数据集运行 eval。一旦您对结果感到满意,您就可以运行解码以获得结果。

您的二进制格式应该与您的训练数据相同。

于 2016-11-21T15:01:59.690 回答