问题标签 [sequence-to-sequence]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
599 浏览

nlp - 在词嵌入中,如何将向量映射到词?

我检查了所有 API,无论在 word2Vec 还是 glove 中,都找不到将向量映射到单词的方法。谷歌并没有那么大的帮助。

有人知道这样做吗?

背景:我正在使用 seq2seq 模型训练聊天机器人。但是到目前为止我发现的实现是使用单热编码。所以我想尝试使用手套嵌入并使用输出映射回单词。

0 投票
1 回答
2506 浏览

machine-learning - Seq2Seq 模型中的 Bucket 概念

为了处理不同长度的序列,我们使用分桶和填充。在分桶中,我们为一些 max_len 制作不同的桶,我们这样做是为了减少填充量,在制作不同的桶之后,我们在不同的桶上训练不同的模型。

这是我到目前为止发现的。但我不明白的是,所有不同的模型是如何训练的,以及它们是如何用于翻译新句子的?

0 投票
0 回答
256 浏览

python - 我不知道为什么在我的 Keras 神经网络模型中,预测形状与训练时标签的形状不一致?

我已经建立了一个 Keras ConvLSTM 神经网络,我想根据 10 个时间步长的序列预测前一帧:

模型:

训练:

我测试模型:

但问题是 'next_frame' 形状是: (1, 10, 64, 64, 1) 根据火车数据,它应该是 (1, 1, 64, 64, 1)

这是“model.summary()”的结果:

0 投票
1 回答
235 浏览

python - 使用双向lstm在tensorflow中进行序列标记任务

我对 NER 的序列标记不太感兴趣。我按照代码“ https://github.com/monikkinom/ner-lstm/blob/master/model.py ”制作我的模型,如下所示:

输入是
X: (batch_size,max_sent_length,word_embed_dim)

Y: (batch_size,max_sent_length,number_of_labels)

然后我将值传递给双向 LSTM 单元:

其中,rnn_size = 128

然后我进行以下计算:

我拿了,batch_size = 64 和 30 个 epoch。
但在我的模型中,每次只检测到一个标签。我无法在我的代码中指出问题。请帮忙。

0 投票
1 回答
359 浏览

python - 在 Keras 中创建自定义指标以进行序列到序列学习

我想在 Keras (python) 中编写一个自定义指标,以在我训练时评估我的序列到序列模型的性能。序列是一次性编码的,标记是单词而不是字符。我希望它只报告完全正确的序列数(百分比也可以)。因此,如果它预测“猫坐在垫子上”而不是“猫坐在垫子上”,那将是不正确的并且不会被计算在内。

Keras(在我看来)关于编写自定义指标的文档有限(此处为https://keras.io/metrics/)。基本上,我想要的是类似

现在,Keras 不喜欢这样。它说 float 没有属性形状。我知道 y_true 和 y_pred 是张量,但我不完全确定它想要返回什么。帮助表示赞赏。

0 投票
1 回答
752 浏览

python - 两个序列到序列模型keras之间的区别(有和没有RepeatVector)

我试图了解这个模型在这里描述的区别是什么,以下是:

这里描述的序列到序列模型是 第二个描述

有什么不同 ?第一个有RepeatVector,而第二个没有?第一个模型是否没有将解码器隐藏状态作为预测的初始状态?

有没有描述第一个和第二个的论文?

0 投票
2 回答
1498 浏览

python - 序列到序列自动编码器的变量输入

我实现了一个序列到序列编码器解码器,但我在预测中改变我的目标长度时遇到了问题。它适用于相同长度的训练序列,但如果不同则无效。我需要改变什么?

在这里它需要与 input_seqs 中相同的批量大小,并且不接受具有 2000 个批次的 target_seqs

我需要改变什么模型接受可变长度的输入?

0 投票
0 回答
308 浏览

node.js - 如何在 tensorflow.js 中构建和训练序列 2 序列模型

您好我正在尝试使用 tensorflow.js 中的序列 2 序列模型构建文本摘要器。

我的数据集(示例):

我可以使用预训练的 word2vec 模型将文本转换为词向量。我将这些词嵌入用于 LSTM 网络以获取情感值。

从理论上讲,我可以对序列 2 序列模型有所了解,但在编码方面,我无法理解这个想法,编码器/解码器网络如何看起来像真正的代码。

任何人都可以在 tensorflow.js 中发布一个简单的编码器和解码器网络示例。

或者,如果已经发布了任何示例,您知道可以分享它们。

0 投票
1 回答
811 浏览

keras - 将序列嵌入与时间序列特征合并

我在LSTM的Keras实现的某些方面遇到了麻烦。这是我的问题的描述:

我正在尝试训练一个单词正确性预测模型。我的模型有两种类型的输入:

  1. 一个单词序列(句子)
  2. 以及一系列特征向量(对于每个单词,我计算一个特征 victor 为 6)。

例如

由于我的训练集中的每个句子都有不同的长度,我应该对我的所有句子进行零填充,以使它们都具有相同的长度。

我的问题是第二个输入怎么样,我应该做填充!如何?因为它们是向量。

模型架构:

0 投票
0 回答
65 浏览

tensorflow - BahdanauAttention 中的 num_units 参数是什么?

我不明白num_unitsTensorFlow 的 BahdanauAttention 中的论点。它定义为:

num_units:查询机制的深度。

我不清楚。