machine-learning - 如何在 tensorflow 中构建基于字符的 seq2seq 模型

Question

TensorFlow 中现有的 seq2seq 模型需要进行哪些更改，以便我可以使用字符单元而不是现有的单词单元来执行 seq2seq 任务？这对于预测性 ext 应用程序来说是一个很好的配置吗？

此任务可能需要修改以下函数签名：

def embedding_rnn_seq2seq(encoder_inputs, decoder_inputs, cell,
                          num_encoder_symbols, num_decoder_symbols,
                          output_projection=None, feed_previous=False,
                          dtype=dtypes.float32, scope=None):

除了减少输入输出词汇之外，实现这样的字符级 seq2seq 模型还需要哪些其他参数更改？

Answer 1

如果您通过空格分隔训练示例来准备输入数据文件，我认为您可以在 tensorflow 中使用现有的 seq2seq 模型，而无需对基于字符的单元进行任何代码更改：

The quick brown fox.

变成：

T h e _SPACE_ q u i c k _SPACE_ b r o w n _SPACE_ f o x .

那么你的词汇自然会变成字符而不是单词。

您可以尝试词汇大小、嵌入大小、消除嵌入层等，以查看最适合您的数据的方法。