问题标签 [encoder-decoder]

背景资料

我正在为我在 Tensorflow 2020 峰会上发现的每一个有趣的演讲创建Google Colabs 。作为说明，我使用的是 Tensorflow 2.1。

我在尝试实施'Learning To Read With Tensorflow'谈话时遇到了问题。

在我们得到EncoderDecoder类定义之前，一切都很顺利。当我在我的自定义子类上实现 fit 方法时，Model我收到一个错误，将在下面详细说明。

最后一个显着错误是AttributeError: 'NoneType' object has no attribute 'dtype'。

但是，我认为这是由于GradientTape范围代码内的问题和/或Decoder Layers（包括Attention Layers）定义的问题

主要代码

详细的错误信息

如果希望复制，如何获取data和变量lines

获取数据

预处理数据

• TensorFlow Seq2Seq 自述文件
• TensorFlow 峰会演讲的 Youtube 视频

提前致谢！！

我正在尝试使用具有张量流的编码器使用 MNIST 数据集进行异常检测，编码器的输入是正常和异常数据，问题是我如何将 MNIST 划分为正常和异常数据（exp 零是异常的和（1- 9) 是否正常？

对于每个已填充为零的训练数据，我都有可变长度，将最长变量的长度保持为恒定长度。训练数据后如何取回原始数据？有没有一种方法可以在 Seq2Seq 编码器解码器网络中进行训练，而无需为训练和测试的可变长度数据填充零？

我不明白为什么2 * config.hidden_dim在编码类中应用全连接层时输入和输出维度的数量（在最后一行中提到）？

代码取自https://github.com/atulkum/pointer_summarizer/blob/master/training_ptr_gen/model.py 请解释

我有一个编码器解码器网络：编码器中有 3 个 BLSTM，解码器中有 2 个 vanilla LSTM，与 4 个节点的多头注意力连接。潜在维度是 32，我的总样本看起来像 (10000,400,128)。编码器网络的 dropout 为 0.2，解码器的 dropout 为 0.3。我正在使用学习率为 0.001 和均方误差损失的 adam 优化器。最后，我的验证拆分为 0.3。我在 Vast.ai 上租用了 Nvidia Titan V（具有 Core™ i9-9820X，5.0/20 个内核和 16/64 GB 总有效共享 RAM），当我一起训练时，每个 epoch 大约需要 6 分钟（7000 次训练和 3000 个验证样本）。

我希望找到减少总火车时间的方法。任何建议都会很棒。

我正在使用 tensorflow 2.0 来训练我自己的注意力模型，但是在构建我的解码器类时遇到了一个大问题，就像这样

而我的encoder-decoder attention model如下Encoder: 这是一个自定义的pBLSTM

注意模型：根据本文构建： https ://arxiv.org/abs/1508.04025v5

解码器：1 层 LSTM 解码器

我在使用下面的示例输入进行测试时遇到了该错误

我正在尝试通过首先将请求 XML 存储在 BPEL 变量中来对请求 XML 进行 base64 编码。您能否看一下问题并建议我做错了什么以及如何解决相同的问题？

例如，当我解码编码的消息时，我得到的输出为

代替

base64代码如下 -

亲切的问候， Jaihind

我过去使用 9 个特征和 18 个时间步来预测未来的 3 个值：

我的代码是：

模型看起来像这样

恐怕问题出在这条线上：

我得到的错误是：

关于如何正确实施这一点的任何想法？

我正在尝试将此：https ://github.com/wanasit/katakana/blob/master/notebooks/Attention-based%20Sequence-to-Sequence%20in%20Keras.ipynb应用于音乐生成而不是语言翻译。但是音乐有更多的复杂性。有没有办法确定错误来自哪里，或者我是否犯了任何概念性错误？

我正在开发一个编码器-解码器模型，以预测讲座成绩单的标题。但无论输入是什么，模型都会预测相同的标题。知道是什么导致了这样的问题吗？