python - 如何在 Pytorch 中为 Seq2seq 模型实现小批量下降

Question

我是初学者并使用链接https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html来实现序列到序列模型以进行音译。可以看到train()的函数定义中的代码是这样的：

    for ei in range(input_length):
            encoder_output, encoder_hidden = encoder(
                   input_tensor[ei], encoder_hidden)
            encoder_outputs[ei] = encoder_output[0, 0]

可以看出，此功能的方式是逐个字符地迭代一个文本。所以batch size是1。所以embedding layer之后的输出是[1,1,embedding_layer_size]。

我想实现这样的事情：

  for i in batches:
        encoder_output, encoder_hidden = encoder(
               i, encoder_hidden)

这样我就得到了[batch_size，seq_length，embedding_layer_size]。并且也以同样的方式解码。请注意，批次中的每个序列的 seq_length 都不同

请帮帮我，指向资源的指针也足够了