问题标签 [elmo]

我正在尝试为批量标记字符串生成 ELMo 嵌入。但是我不断收到以下错误：

这里出了什么问题？嵌入张量是否太大？我正在使用Python 3.6.13 tensorflow==2.2.0,tensorflow-estimator==2.2.0和tensorflow-hub==0.12.0.

下面的代码重现了错误：

我想尝试不同的嵌入，如 Word2Vec、ELMo 和 BERT，但我有点困惑是使用词嵌入还是句子嵌入，以及为什么。我使用嵌入作为 SVM 分类器的特征输入。

谢谢你。

I'm trying to understand how ELMo is designed and how it works, and I have a couple of questions:

1. Is the ELMo architecture (visualized in the figure below) used for training the model, or for generating the context-dependent embeddings using the pre-trained model? Or is the same for both?

Source

2. Before passing the input to the Bi-LSTM layers, it is passed through a convolutional neural network (CNN) to convert the words into raw word vectors (character-based). How CNN does this? Any helpful references?

Thank you.

我正在做情绪分析。我正在使用 elmo 方法来获取词嵌入。但我对这种方法给出的输出感到困惑。考虑张量流网站中给出的代码：

特定句子的嵌入向量根据您提供的字符串数量而有所不同。详细解释让

所以 x1[0] 将不等于 z1[0]。这会随着您更改字符串的输入列表而改变。为什么一个句子的输出取决于另一个。我没有训练数据。我只使用现有的预训练模型。在这种情况下，我很困惑如何将我的评论文本转换为嵌入并用于情绪分析。请解释。注意：要获取嵌入向量，我使用以下代码：

如果（比如说）z = [1000 个字符串的列表]，则值会从第一个小数点本身发生变化。我做了很多检查。我在重复'我们为每个句子得到不同的向量'，为什么会这样？权重是否得到训练（但我没有训练模型，只是从预训练模型中提取向量）

我正在使用 ELMO 为我的数据集创建嵌入，我总是收到此错误：

我的代码就这么简单：

我一直在使用 Elmo 在 IMDB 数据集上嵌入 250 个句子的矩阵。应用 Elmo 后，我得到了一个维度数组（250、1024）。生成 Elmo 矩阵的代码如下：

我将矩阵保存到一个泡菜文件中，当我打开它时，它具有以下数据和尺寸：

我用了250个句子。我的 LSTM 模型如下：

但我得到的错误是：

为什么我会收到此错误？

我已经下载了 imdb 数据集并将其分离为训练子集并测试使用 Elmo Embedding：

然后，我会将 X_train 和 y_train 值传递给使用 Elmo 执行嵌入的函数：

编程的功能是：

X_train 和 y_train 具有以下数据：

每个仅包含 250 个样本。我遇到的问题是当我运行模型时出现以下错误：

我的目标是整数，所以我不需要使用稀疏分类交叉熵，我错过了什么？

过去一周我一直在寻找训练自己的 ELMo 模型，并遇到了这两个实现allenai/bilm-tf和allenai/allennlp。对于我尝试过的一些技术，我一直面临着一些障碍，我想澄清我的发现，以便我能获得更清晰的方向。

由于我的项目围绕医疗保健展开，我想从头开始训练嵌入以获得更好的结果。我正在处理的数据集是 MIMIC-III，整个数据集存储在一个 .csv 中，这与 10 亿字语言模型基准（教程中使用的数据）不同，其中文件存储在单独的 .txt 文件中。

我正在关注这个“使用 ELMo 作为 PyTorch 模块来训练新模型”教程，但我发现其中一个要求是 .hdf5 weights_file。

（问题）这是否意味着我必须先训练一个 bilm 模型才能输入 .hdf5 权重？我可以使用 allennlp.modules.elmo.Elmo 从头开始​​训练 ELMo 模型吗？有没有其他方法可以用空的 .hdf5 训练模型，因为我能够使用教程数据成功运行它。

（问题）我训练嵌入的最佳方法是什么？（PS：我尝试过的一些方法记录在下面）。在我的情况下，我可能需要一个自定义 DatasetReader，而不是将 csv 转换为 txt 文件，这会浪费内存。

在这里，让我详细介绍一下我迄今为止尝试过的其他方法。作为什么可能是最好的技术的主要问题的背景故事。如果您知道任何其他方法来训练我自己的 ELMo 模型，或者如果以下方法之一优于其他方法，请告诉我。

我已经尝试按照本教程allennlp train ...使用命令训练模型。但是，由于以下我仍然无法解决的错误，我无法使用教程数据运行。

其次，这是我发现但没有尝试过的一种技术。与上面的技术类似，它使用allennlp train ...命令，但我使用allenai/allennlp-template-config-files作为模板并修改 Model 和 DatasetReader。

最后，我尝试按照这样的教程使用 TensorFlow 实现allenai/bilm-tf。但是，我想避免这种方法，因为 TF1 已经过时了。除了收到大量警告外，我还面临 CUDA 的错误。

如果我想为特定区域构建搜索系统，我应该使用什么？

人们使用该网站搜索相关话题或帖子。他们现在正在使用 Sphinx，但人们抱怨结果，所以我们想研究如何改进。

我曾尝试将 Elaticsearch 与 BERT（Hironsan 的 github）一起使用，但结果比 Sphinx 的结果还要差，似乎 BERT 无法理解特定领域的一些特殊术语，但我不确定原因。而且我不明白为什么只嵌入帖子的标题比嵌入帖子的内容效果更好。

另外，当我看到用户查询日志时，大部分查询只有1-2个单词而不是句子。

在这种情况下，我应该使用什么技术？例如。使用 ELMo 是个好主意，因为它擅长处理 OOV？

寻求帮助！！！

我正在使用 ELMo 编码和双向 LSTM 重现架构，前两层看起来像这样：

但是，我不确定如何插入它们而不是我现有的 Keras 嵌入层：

输入数据在训练之前被标记化，因此它不是 ELMo 实现所需的真正的字符串类型：