0

我正在尝试加载本文提出的可分解注意力模型 The decomposable attention model (Parikh et al, 2017) 与在 SNLI 上训练的 ELMo 嵌入相结合。，并使用建议的代码作为演示网站描述：

predictor = Predictor.from_path("https://storage.googleapis.com/allennlp-public-models/decomposable-attention-elmo-2020.04.09.tar.gz", "textual_entailment")
predictor.predict(
  hypothesis="Two women are sitting on a blanket near some rocks talking about politics.",
  premise="Two women are wandering along the shore drinking iced tea."
)

我从日志中找到了这个：

Did not use initialization regex that was passed: .*token_embedder_tokens\._projection.*weight

并且预测也与我在演示网站上得到的不同（我打算看到的）。我在这里错过了什么吗？

此外，我尝试了其他两个版本的预训练模型，decomposable-attention-elmo-2018.02.19.tar.gz以及decomposable-attention-elmo-2020.02.10.tar.gz. 它们都不起作用，我收到了这个错误：

ConfigurationError: key "token_embedders" is required at location "model.text_field_embedder."

我需要做什么才能获得演示网站中显示的确切输出？

4

1 回答 1

0

ELMo 以这种方式有点困难，因为它保持状态，如果你调用它两次，你不会得到相同的输出。这取决于您事先处理的内容。一般来说，在认真使用 ELMo 之前，应该先用一些查询来预热它。

如果您仍然看到输出中存在很大差异，请告诉我们，我们会进行调查。

旧版本的模型不适用于新代码。这就是我们发布新模型版本的原因。

于 2020-12-12T03:17:20.800 回答