问题标签 [elmo]

我在阅读有关 BERT 和 ELMo 的论文时看到了这两个术语，所以我想知道它们之间是否有区别。

我正在尝试在带有 python 3.7 的 jupyter notebook 中使用预训练的 elmo 嵌入。TensorFlow 版本 - 1.14.0

这是我的代码

但是我收到了一个运行时错误

FailedPreconditionError：从容器读取资源变量模块/bilm/CNN_proj/W_proj 时出错：localhost。这可能意味着该变量未初始化。未找到：资源 localhost/module/bilm/CNN_proj/W_proj/N10tensorflow3VarE 不存在。[[{{node lambda/module_apply_default/bilm/MatMul_9/ReadVariableOp}}]]

我正在尝试使用 url 导入 Elmo 模块：

但我无法加载它，因为它给出了一个错误：

URLError: urlopen 错误 [SSL: CERTIFICATE_VERIFY_FAILED] 证书验证失败：证书已过期 (_ssl.c:1076)

谁能帮我搞定这件事？

是否可以在 tpu 而不是 gpu 上从头开始训练 ELMO 模型？我想从自定义大型语料库生成土耳其语 elmo 嵌入。

我正在使用来自 tensorflow hub 的 ELMO 模型。

默认输出维度是 1024。有没有可能的方法可以在128不使用 PCA/丢失信息的情况下将 ELMO 嵌入的维度减少到？

我想用 allennlp 构建一个问答机器人。我已经找到了它的代码和一个英文模型——我想用德语的机器人。我已经搜索过了，但我只找到了这个与 allennlp 不兼容的模型。您是否知道任何兼容的德国 elmo 型号，或者是否有更常见的替代 allennlp 具有更多兼容型号？

这是我找到的代码：

我了解 Elmo 在字符上使用 CNN 进行字符嵌入。但是我不明白字符嵌入是如何与高速公路网络中的词嵌入连接的。在 Elmo 论文中，大多数评估都使用 Glove 进行词嵌入和 CNN 字符嵌入，这很有意义，因为他们提到了词嵌入。但是对于像 TF-Hub 中的预训练模型，我们将哪些词嵌入与高速公路层中的字符嵌入连接起来？

如果可以，请帮助我理解。

我正在尝试构建自己的自定义化学域 ELMO 嵌入。我正在遵循https://github.com/allenai/bilm-tf的指示

如果我在化学等领域有很多多词标记，我该如何准备训练数据。例如：

1. Original Sentences: "This is a multi word chemical component 3-(4,5-dimethylthiazol-2-yl)-2,5-diphenyl tetrazolium bromide. \n This is another sentence."

这里“3-(4,5-二甲基噻唑-2-基)-2,5-二苯基溴化四唑”是一个单一的记号。令牌内有多个以空格分隔的单词。这将导致上述标记被拆分为 3 个标记：['3-(4,5-dimethylthiazol-2-yl)-2,5-diphenyl','tetrazolium','bromide']。

我怎样才能避免这种情况？我可以提供以下格式的输入训练数据来避免这种情况吗？

训练数据（1）：每个句子的标记列表。因此，训练文本文件将包含列表标记列表。

[['This', 'is', 'a', 'multi', 'word', 'chemical', 'component', '3-(4,5-dimethylthiazol-2-yl)-2,5-diphenyl四唑溴化物'], ['这个', '是', '另一个', '句子']]

训练数据（2）：这里我用“|”连接了多关键字标记 象征。“这是一个多词化学成分 3-(4,5-dimethylthiazol-2-yl)-2,5-diphenyl|tetrazolium|bromide。\n 这是另一个句子。”

请指导准备训练数据的最佳方法。

我正在尝试在每次批量迭代时在 PyTorch 模型上生成 elmo 嵌入，例如：

为了将嵌入提供给模型，但问题是对于单个批次，创建它们需要数小时..我做错了什么吗？关于如何使它变得更好的任何建议？

此外，当我将它提供给模型时，它可以直接进入 GRU 还是需要更多处理？

谢谢大家的时间:)

ELMo、BERT、GloVe在单词表示上有什么区别？他们在执行词嵌入任务方面有何不同？与其他人相比，哪个更好，每个人都有哪些优点和缺点？