问题标签 [allennlp]

我正在尝试通过本教程学习如何使用 Elmo 嵌入：

https://github.com/allenai/allennlp/blob/master/tutorials/how_to/elmo.md

我特别尝试使用如下所述的交互模式：

我的总体问题是如何确保在原始 5.5B 集上使用预训练的 elmo 模型（在此处描述：https ://allennlp.org/elmo ）？

我不太明白为什么我们必须调用“断言”或为什么我们在向量输出上使用 [2][3] 索引。

我的最终目的是平均所有词嵌入以获得句子嵌入，所以我想确保我做对了！

感谢您的耐心等待，因为我对这一切都很陌生。

我需要某个库（allennlp==0.7.2）的旧版本的火炬（0.5.0）。但是我已经有一个现有的 torch 版本（1.0.0），这是 flair 和其他库所要求的。如何在同一个 python 环境中满足多个库的同一个包的不同要求，而不必每次导入该包时手动指定版本？

我正在尝试加载 AllenNLP 模型权重。我找不到任何关于如何保存/加载整个模型的文档，所以只能使用权重。

我稍微修改了我的输入语料库，我猜正因为如此我得到语料库大小不匹配：

似乎没有官方的方法可以用语料库词汇来保存模型。周围有什么黑客吗？

我正在尝试使用 ELMo，只是将它用作更大的 PyTorch 模型的一部分。这里给出了一个基本的例子。

这是一个 torch.nn.Module 子类，它计算任意数量的 ELMo 表示并为每个表示引入可训练的标量权重。例如，此代码片段计算两层表示（如我们论文中的 SNLI 和 SQuAD 模型）：

我的问题涉及“陈述”。你能将它们与普通的 word2vec 输出层进行比较吗？您可以选择返回多少个 ELMo（增加第 n 个维度），但是这些生成的表示之间有什么区别，它们的典型用途是什么？

给你一个想法，对于上面的代码，embeddings['elmo_representations']返回两个项目（两个表示层）的列表，但它们是相同的。

简而言之，如何定义 ELMo 中的“表示”？

如何在 AllenNLP 中训练语义角色标注模型？

我知道该allennlp.training.trainer功能，但我不知道如何使用它来训练语义角色标签模型。

假设训练样本带有 BIO 标记，例如：

我正在尝试使用我在训练数据上训练过的模型来运行 allennlp 包的预测。但是，在进程开始时，出现此异常并停止程序。

raise source.error('bad escape %s' % escape, len(escape)) sre_constants.error: bad escape \p at 257

此外，当我打开一个 allennlp 环境时，我收到另一个错误：

2019-04-01 12:20:43,879 - 信息 - allennlp.common.params - dataset_reader.lazy = 错误分段错误（核心转储）

我正在使用以下命令执行序列到序列的任务，其中训练数据是一堆 0 和 1（src 和目标）：

在预测中：

具体来说，我尝试在这个 repo 中重新生成结果：https ://github.com/sebastianGehrmann/bottom-up-summary

请先在我们的 GitHub 存储库中搜索类似问题。如果您没有找到类似的示例，您可以使用以下模板：

系统（请填写以下信息）： - 操作系统：Ubunti 18.04 - Python 版本：3.6.7 - AllenNLP 版本：v0.8.3 - PyTorch 版本：1.1.0

问题 当我尝试使用 SimpleSeq2SeqPredictor 预测字符串时，它总是显示

我尝试做一个翻译系统，但我是新手，大部分代码来自 https://github.com/mhagiwara/realworldnlp/blob/master/examples/mt/mt.py http://www.realworldnlpbook.com /blog/building-seq2seq-machine-translation-models-using-allennlp.html

这是我的培训代码

这是我的预测代码

我做错了吗？

我目前正在使用 allennlp 进行 NER 标记。

代码：

是否有任何解析器可以合并下面的输出，使其返回 "Top Gun" 和标签 "WORK_OF_ART" ？

我正在尝试在我的 Mac 上安装 allennlp。我尝试安装 macOS 标头来解决缺少标头的问题，但现在我遇到了新问题。

我运行时的错误pip install allennlp：

我的编译器和 gcc：

我该如何解决这个问题，我尝试重新安装命令行工具和包头，但仍然没有运气。

我有一个作业，要求我构建一个可以从句子中猜出缺失单词的算法。例如，当输入句子是：“I take my **** for a walk this morning”时，我希望输出猜测丢失的单词（dog）。我的任务要求我从头开始训练自己的模型。我建立了我的语料库，它有大约 500.000 个句子。我清理了语料库。它都是小写的，每个句子都用换行符 (\n) 分隔。我也有 words.txt 文件，它按频率降序列出所有唯一单词。词汇文件以前 3 行 'S'、'/S' 和 'UNK' 开头（这 3 个标记在词汇表中用 <> 包围，但在本网站中使用 <> 会出于某种原因隐藏它们之间的字符） .

我按照https://github.com/allenai/bilm-tf中的说明进行操作，它提供了使用 Elmo 从头开始​​训练您自己的模型的步骤。

在收集了 data.txt 和词汇文件后，我使用了

并使用 tensorflow 和启用 CUDA 的 gpu 训练我的语料库。

训练完成后，我使用了以下命令：

这给了我 weights.hdf5 和 options.json 文件。我在训练模型时收到的唯一警告是：

在 AllenAI repo 中提到它是无害的。因此可以安全地假设模型训练阶段已正确完成。我的问题是，在此之后我不知道该怎么做。在这个 stackOverflow 链接Predicting Missing Words in a sentence - Natural Language Processing Model中，答案表明可以使用以下代码来预测丢失的单词：

不幸的是，上面的代码是针对 Bert 模型的。我的任务要求我使用 Elmo 模型。我试图为 Elmo 找到一个类似于 pytorch_pretrained_bert的库，但我找不到任何东西。我可以做些什么来使用我的 Elmo 模型来预测被屏蔽的单词？

谢谢。