tensorflow - 在哪里放置和seq2seq 翻译中的标签？

Question

我浏览了许多教程，其中我的问题的答案不同。

所以，对于 seq2seq 模型（英语到法语翻译），我有encoder_input_data没有<start>和<stop>标签的英语短语。我对decoder_input_dataand感到困惑decoder_target_data。

目前，我的数据以一种没有任何结果的方式组织。

• decoder_input_data：包含同时具有<start>和<stop>标记的法语短语。
• decoder_target_data：包含只有<stop>标签的法语短语。

谷歌的教训说英语和法语短语都必须在开头和结尾都有标签。另外，我没有得到任何结果。

我应该在解码器的输入中添加<start>和<stop>标记吗？或者，我应该只<start>在解码器的输入中包含，而在<stop>解码器的目标中只包含标签吗？为 NMT 放置这些标签的正确方法是什么？

Answer 1

您应该将<start>标签放入解码器的输入中，并将<end>标签放入解码器的目标中。

请看下面的图片：

解码器输入中的<start>标签用于预测解码器中的第一个标记，解码<end>器目标中的标签用于标记解码器中的结束。

不需要<start>在目标中取标签，因为我们在解码器中有明确的初始起始。此外，不需要<end>在输入中使用标签，因为结尾由输出而不是输入标记。

此外，还有一些作品使用<start>和<end>作为相同的标记。实际上，它们在不同的地方，所以它们并不冲突。

如：