0

我试图通过使用编码器创建一个连体网络来微调通用句子编码器。我想在训练期间训练 tensorflow_hub 通用编码器模块的权重，但我不确定如何使用估计器来做到这一点。

我的问题是，如果我在下面使用两个 hub.text_embedding_column 进行设置，它将训练两个单独的网络，而不是像训练它们是连体网络一样训练它们。如果不共享权重，我将如何更改它以便共享和训练权重。如果有帮助，我可以从本地机器加载模块。

def train_and_evaluate_with_module(hub_module, train_module=False):
    embedded_text_feature_column1 = hub.text_embedding_column(
      key="sentence1", module_spec=hub_module, trainable=train_module)

    embedded_text_feature_column2 = hub.text_embedding_column(
      key="sentence2", module_spec=hub_module, trainable=train_module)


    estimator = tf.estimator.DNNClassifier(
      hidden_units=[500, 100],
      feature_columns=[embedded_text_feature_column1,embedded_text_feature_column2],
      n_classes=2,
      optimizer=tf.train.AdagradOptimizer(learning_rate=0.003))

    estimator.train(input_fn=train_input_fn, steps=1000)

    train_eval_result = estimator.evaluate(input_fn=predict_train_input_fn)
    test_eval_result = estimator.evaluate(input_fn=predict_test_input_fn)

    training_set_accuracy = train_eval_result["accuracy"]
    test_set_accuracy = test_eval_result["accuracy"]

    return {
      "Training accuracy": training_set_accuracy,
      "Test accuracy": test_set_accuracy
    }



results  = train_and_evaluate_with_module("https://tfhub.dev/google/universal-sentence-encoder-large/3", True)
4

1 回答 1

1

我不太熟悉如何使用tf.estimator，但是当涉及到连体架构时，这就足够了：

sentences1 = ["the cat sat on the mat", "the cat didn't sat on the mat"]
sentences2 = ["the dog sat on the mat", "the dog didn't sat on the mat"]
encoder = hub.Module("https://tfhub.dev/google/universal-sentence-encoder-large/3", trainable=True)
sentences1_embedding = encoder(sentences1)
sentences2_embedding = encoder(sentences2)
# Now, you can proceed with doing whatever you want with the embeddings

然后，当您计算损失并反向传播梯度时，universal-sentence-encoder将从模型的两个分支更新 。

换句话说，创建一个模块实例，并使用它从两个或多个句子中获取嵌入 → 连体神经网络。

在您的情况下，我认为以下内容就足够了：

embedded_text_feature_column = hub.text_embedding_column(
  key="sentence", module_spec=hub_module, trainable=train_module)

estimator = tf.estimator.DNNClassifier(
  hidden_units=[500, 100],
  feature_columns=[embedded_text_feature_column, embedded_text_feature_column],
  n_classes=2,
  optimizer=tf.train.AdagradOptimizer(learning_rate=0.003))

因此，您text_embedding_column使用.moduletext_embedding_columntf.estimator.DNNClassifier

于 2019-08-07T16:46:21.853 回答