3

我是 tensorflow-hub 的新手，遇到了 ELMo 模型（https://www.tensorflow.org/hub/modules/google/elmo/2）。

根据原始论文，ELMo 表示是隐藏状态激活的加权平均值，并且这些权重可以根据手头的任务（即特定任务）进行训练。正如预期的那样，当我使用 tf.trainable_variables() 时，我可以看到 4 个可训练参数。如何在 tensorflow 中准确训练这些变量？

他们只是提到这些权重是可训练的。但谁应该训练它？Me 还是 ELMo 模型本身训练呢？论文似乎建议我应该训练它。如果是这样，我如何在张量流中训练它？

4

1 回答 1

1

您可以首先使用 trainable=True 将一个模块导入您的模型，然后像训练任何其他 TF 模型一样训练该模型。在此训练过程中，模型导入的部分模块的权重也将被训练。您也可以使用本教程作为一个很好的起点，只需将 nnlm 嵌入替换为 ELMo。

于 2018-06-26T09:05:26.687 回答