问题标签 [bilstm]

我在 Pytorch 论坛https://discuss.pytorch.org/t/passing-hidden-layers-to-convlstm/52814中找到了这个， 这是我在 Pytorch 中为 Bi-Directional Conv LSTM 找到的实现。在浏览完代码后，我一直试图对其进行测试，但似乎有些函数定义错误或不完整。我在这里https://github.com/ndrplz/ConvLSTM_pytorch也找到了 Conv LSTM 的其他实现，但这不支持双向。我需要一些帮助来重新升级上面的代码。

TypeError: initialize_weights() missing 1 required positional argument: 'layer'

我正在尝试生成新信号，例如我的 29000 个信号和 2000 个样本的数据集。我正在使用 biLSTM-CNN 来训练我的模型。但是在训练之后，损失为 0，准确度为 0。我已经将数据拆分为批处理和混洗测试和训练集。我试图修改模型结构，但结果是一样的。你能帮助我吗？

我的代码如下：

我正在使用 RNN 网络进行二元分类。当我在重塑数据后尝试训练模型时，模型正在工作并且我的分数很高，但我不知道输入的形状是否正确，并在训练开始时出现警告消息。本次训练的输入形状为 x_train=(466, 1, 1024) 和 y_train(466, 1)

输入是466个序列，每个序列的长度是1024

当我尝试 x_train=(1, 466, 1024) 和 y_train(1, 466) 时，模型没有训练并且我遇到了这个错误（按照我看到的指南）

有人可以帮我解决这个问题或确认第一次培训是否正确吗？

评估语言模型的流行方法是困惑。

但是我们不能直接从 BiLSTM 模型中找到困惑数。

我们需要从 2^(cross-entropy) 计算它。

我应该使用 BLEU 还是 Next-word 预测结果或其他方法来评估这些模型？

我会很感激任何想法。

我可以用自己的数据冻结预训练的 bert 模型的所有层，只训练分类器层。

但我不只是训练分类器，而是想在 bert 的输出中添加一个 bilstm 层。我将冻结其他层，并且只训练这个 bi-lstm 层。所以这里bert实际上只是提供词嵌入。

不幸的是，我对 bilstm 架构有点不熟悉，所以训练期间张量大小不匹配，我遇到了错误。

这是模型类：

我遇到的错误：

“预期输入 batch_size ({}) 与目标 batch_size ({}) 匹配。”.format(input.size(0), target.size(0)) ValueError：预期输入 batch_size (32) 与目标 batch_size (4096) 匹配.

我实际上可以将错误解释如下：由于这是一项较弱的任务，因此有必要进行与样本中的 max_len 数一样多的预测。因此，发送到损失函数的张量的尺寸应该是 [batch_size,max_len, num_of_layer] 但在我的代码中，张量的返回类似于 [batch_size,num_of_layer] ，即它只适用于分类任务。

但我想让它适合 ner 任务。我认为该错误将通过更改 cat 或 view 方法来解决，但不幸的是我找不到解决方案。

最后，如何保存我训练的 lstm 层的权重？（但只是 lstm 不是所有层，因为内存问题）也许我可以自己找到这个保存问题，但如果你知道并写，我将非常感激。

您还可以分享有关该主题的其他经验或建议。提前感谢那些花时间回复的人。

这是我的模型架构

word_in = 独特的词

chr_in = 唯一字符(a,b,c,-,...)

我在训练后保存了上述模型及其权重。

现在，当我加载 .h5 文件时，我无法预测。

我尝试了几件事，但它的抛出错误。

首先加载模型进行预测

第二次加载权重和模型一起预测

加载 LSTM 架构并附加权重

无法理解错误是什么

我可以知道我哪里出错了，我该如何解决？

我正在构建一个命名实体识别模型。在进行预处理（建模和验证集中的标记化、填充和分离）之后，我在训练模型时出错。据我了解，错误是由于训练集和测试集的尺寸造成的。

我的模型如下

我的训练数据具有以下格式。您看到的第一个包含随机数和 -1 的向量是我的向量 x，而您看到的仅包含 1 和 0 的第二个向量是我的向量，它采用一种热编码格式

我的训练和测试集的维度如下

我编译模型的代码如下

最后抛出我的错误如下

有人可以帮我理解这个错误的原因吗？

我是 PyTorch 的新手，我正在尝试构建一个 BiLSTM 模型以将其输出插入到 MaxPool1d 层和 AvgPool1d 层中，然后将两个层的输出连接起来以进行二进制分类任务。我正在使用预训练的 Word2Vec 嵌入作为输入：

我的训练功能如下：

我尝试像这样运行代码：

但是，我收到以下错误。我不确定这里的输入大小指的是什么，而且我在任何地方都找不到其他有相同错误的人。谁能给我建议？

我正在尝试使用 LSTM、BiLSTM 和 GUE 构建不同的模型。训练和测试的 X 数据都是数组，而 y 是数据框

它给了我一个值错误 ValueError: Failed to find data adapter that can handle input: <class 'numpy.ndarray'>, <class 'pandas.core.frame.DataFrame'>

你能帮我解决这个问题吗？

我使用 LSTM + 注意。模型不学习class = 3，但一直只给我一堂课。