问题标签 [elmo]

最近，我尝试在 tensorflow 中使用 elmo，但我遇到了一些错误，如果你能帮助我，我将非常感激。

这是我的测试代码：

我运行它，我的电脑会报告一个错误。

我找到了很多方法，但仍然无法解决这个问题，所以如果你能帮助我，我将不胜感激。并且有所有错误报告。

我正在尝试将 Elmo 与 Keras 和 Tensorflow 一起使用。在运行下面的代码时，我收到一个似乎权重未初始化的错误。我也尝试过定义这里定义的 ElmoLayer 类（链接），但仍然是同样的错误。

知道我做错了什么吗？

FailedPreconditionError：从容器读取资源变量模块/bilm/RNN_0/RNN/MultiRNNCell/Cell0/rnn/lstm_cell/projection/kernel 时出错：localhost。这可能意味着该变量未初始化。未找到：资源 localhost/module/bilm/RNN_0/RNN/MultiRNNCell/Cell0/rnn/lstm_cell/projection/kernel/class tensorflow::Var 不存在。[[节点 lambda_1/module_apply_default/bilm/RNN_0/RNN/MultiRNNCell/Cell0/rnn/lstm_cell/projection/kernel/Read/ReadVariableOp（定义在 C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\framework\ ops.py:1751) ]] [Op:__inference_keras_scratch_graph_5942]

函数调用栈：keras_scratch_graph

我的 Keras 和 TF 版本：

我正在尝试从 TensorFlow hub 获得一个简单的 ELMO 模型，但结果证明这是一个挑战。

当我运行我的代码时，我收到错误消息：“急切执行函数的输入不能是 Keras 符号张量，但发现 [<tf.Tensor 'input_69:0' shape=(None, 10) dtype=string>] "

我想我弄乱了 sequence_length 参数或输入。谁能帮帮我吗？

完全错误：

TypeError：函数构建代码之外的操作正在传递一个“图形”张量。通过在函数构建代码中包含 tf.init_scope ，可以使 Graph 张量从函数构建上下文中泄漏出来。例如，以下函数将失败：@tf.function def has_init_scope(): my_constant = tf.constant(1.) with tf.init_scope(): added = my_constant * 2 图张量的名称为：input_69:0

在处理上述异常的过程中，又出现了一个异常：

回溯（最近一次通话最后）：

文件“C:\temp\Simon\TempElmoNames.py”，第 66 行，模型 = build_model()

文件“C:\temp\Simon\TempElmoNames.py”，第 56 行，在 build_model out = elmo({"tokens": tokens, "sequence_len": seqs})

文件“C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\keras\engine\base_layer.py”，第 891 行，调用 输出 = self.call(cast_inputs, *args, **kwargs)

文件“C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_hub\keras_layer.py”，第 229 行，调用结果 = f()

文件“C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\eager\function.py”，第 1081 行，调用 返回 self._call_impl(args, kwargs)

文件“C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\eager\function.py”，第 1121 行，在 _call_impl 中返回 self._call_flat（args，self.captured_inputs，cancellation_manager）

文件“C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\eager\function.py”，第 1224 行，在 _call_flat ctx、args、cancellation_manager=cancellation_manager）

文件“C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\eager\function.py”，第 511 行，调用 ctx=ctx）

文件“C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\eager\execute.py”，第 75 行，在 quick_execute“张量，但找到 {}”.format(keras_symbolic_tensors))

_SymbolicException: 急切执行函数的输入不能是 Keras 符号张量，但发现 [<tf.Tensor 'input_69:0' shape=(None, 10) dtype=string>]

以下是我正在使用的版本： Keras：2.3.1 TF：2.0.0 TH-hub：0.12.0

更新 1： 我升级了 Keras (2.6.0) TF (2.6.0) 和 TF Hub(0.12.0) 并更改了关于 seqs 和 seq_lens 如何传递的 build_model 方法。

现在我收到错误：

ValueError: Function 的输入张量必须来自 tf.keras.Input. 收到： [3 3 2 2 3 3 3 5 3 3 3 2 7 2 2 2 3 2 2 3 3 3 3 3 3 2 3 2 3 2 3 3 2 3 3 2 3 2 2 2 2 3 2 2 3 3 5 3 3 3 0]（缺少前一层元数据）。

我有这个使用 TF Hub 的 Elmo 层进行分类任务的网络。奇怪的是，它开始训练，但在过程中失败并出现错误：

不支持的对象类型 int

完整错误：

我是初学者，不是以英语为母语的人，所以我可能会问一些糟糕的问题。对不起！

我最近完成了官方的 AllenNLP 教程（https://guide.allennlp.org/training-and-prediction），想将简单分类器的词嵌入更改为 ELMo。

另外，我想让简单分类器的架构更复杂，以提高其准确性。我想我已经完成了模型的实现。

简单分类器.py

但我不知道如何更改配置文件。如何更改官方教程中的以下配置文件以使用ELMo？

my_text_classifier.jsonnet

如果有人可以帮助我，我会很高兴。

我已经训练了一个具有预训练 ELMO 层的深度学习网络。我已经使用下面的代码保存了模型和权重。

我现在需要加载负载，但我不确定什么是正确的方法。我尝试了两种技术，但都失败了。

1：尝试仅加载模型，但由于 get_config 错误而失败

文件“C:\temp\Simon\perdict_elmo.py”，第 36 行，在 elmo_BiDirectional_model = keras.models.load_model("model.h5")

文件“C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\keras\saving\save.py”，第 143 行，在 load_model 返回 hdf5_format.load_model_from_hdf5（文件路径，custom_objects，编译）

文件“C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\keras\saving\hdf5_format.py”，第 159 行，在 load_model_from_hdf5 中引发 ValueError('No model found in config file.')

ValueError：在配置文件中找不到模型。

2：尝试构建模型并设置权重：

但这失败并出现错误：

文件“C:\temp\Simon\perdict_elmo.py”，第 28 行，在 elmo_BiDirectional_model.load_weights('weights.h5')

文件“C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\keras\engine\training.py”，第 182 行，在 load_weights 中返回 super(Model, self).load_weights(filepath, by_name)

文件“C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\keras\engine\network.py”，第 1373 行，在 load_weights Saving.load_weights_from_hdf5_group(f, self.layers)

文件“C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\keras\saving\hdf5_format.py”，第 645 行，在 load_weights_from_hdf5_group original_keras_version = f.attrs['keras_version'].decode('utf8')

AttributeError：“str”对象没有属性“decode”

版本：

我想通过在五个类别标签上对 4000 条推文数据进行分类来比较 ELMo 和 word2vec 作为词嵌入的性能，但结果表明 ELMo 的性能比 word2vec 差。

我将ELMoformanylangs用于 ELMo，并为 word2vec 预训练了 100 万条推文

word2vec-cnn的曲线损失

ELMo-cnn 的曲线损失

说明这2个模型都过拟合了，但是为什么ELMo会比word2vec差呢？

我正在尝试ELMO通过神经网络中的张量流实现嵌入。这是我的网络的代码片段：

运行此模型时，我收到以下错误：

我检查了正在传递的数据，其中没有空值，但在运行此函数时仍然存在此错误。

我正在使用 ELMO 层训练用于令牌分类的 Keras 模型。我需要保存模型以备将来使用，我已经尝试使用 model.save_weights("model_weights.h5")，但是如果我将它们加载到我构建的新模型中，然后我调用 model.predict(. ..)，我得到的结果就好像模型从未被训练过一样。看起来配置没有正确保存。

我是 keras 和 tensorflow 1 的新手，我不确定这是否是这样做的方法。欢迎任何帮助！我显然在这里遗漏了一些东西，但是我找不到足够的方法来保存带有 elmo 层的模型。

我正在定义这样的模型：

然后我像这样进行培训：

如果我尝试在另一个会话中加载权重，如下所示，我的准确度为零：

我是 allennlp 的新手。我训练了一个 elmo 模型，将其作为嵌入应用到其他 allennlp 模型，但失败了。看来我的模型与配置提供的界面不兼容。我能做些什么？

我的 elmo 由 allennlp 使用以下命令进行训练：

除了数据集和词汇表之外， elmo.jsonnet 与https://github.com/allenai/allennlp-models/blob/main/training_config/lm/bidirectional_language_model.jsonnet几乎相同。

之后，我得到了一个 elmo 模型：

当我尝试在https://github.com/allenai/allennlp-models/blob/main/training_config/rc/bidaf_elmo.jsonnet中将模型加载到其他模型中时，我发现它需要选项和权重：

我的模型中不包含哪些。我尝试更改model.state_dict()为 weights.hdf5 但收到错误消息：

哪个是必需的

看来我allennlp训练的模型和接口不兼容。如何将我的 elmo 用作其他模型的嵌入？