2

我正在使用以下命令使用通用句子编码器预训练模型：

import tensorflow as tf
import tensorflow_hub as hub

MODEL_NAME = 'tf-sentence-encoder'
VERSION = 1
SERVE_PATH = './models/{}/{}'.format(MODEL_NAME, VERSION)

with tf.Graph().as_default():
  module = hub.Module("https://tfhub.dev/google/universal-sentence-encoder-large/3")
  text = tf.placeholder(tf.string, [None])
  embedding = module(text)

  init_op = tf.group([tf.global_variables_initializer(),
                      tf.tables_initializer()]
                     )
  with tf.Session() as session:
      session.run(init_op)
      tf.saved_model.simple_save(session, SERVE_PATH,
                                 inputs = {"text": text}, outputs = {"embedding": embedding},
                                 legacy_init_op = tf.tables_initializer()
                                 )

如何为 RESTFUL API 重新加载保存的模型？

4

1 回答 1

1

正如 Arno 在评论中提到的，这个问题与 Tensorflow Serving 有关。

使用 保存模型tf.saved_model.simple_save后，模型将以.pb格式保存。

通过使用 REST API 重新加载保存的模型，我了解使用 REST API 执行推理。解释如下：

让我们考虑模型名称，因为tf_sentence_encoder您可以使用以下命令查看模型的 SignatureDef：

!saved_model_cli show --dir tf_sentence_encoder --all

我们应该使用 Docker Pull 命令安装 TensorFlow Serving，如下所示：

sudo docker pull tensorflow/serving

然后我们必须调用 Tensorflow 模型服务器：

sudo docker run -p 8501:8501 --mount type=bind,source=/Path_Of_The_Model/tf_sentence_encoder,target=/models/tf_sentence_encoder -e MODEL_NAME=tf_sentence_encoder -t tensorflow/serving &

然后，您可以使用 REST API 执行预测，如下所示：

curl -d '{"inputs": [5.1,3.3,1.7,0.5]}' \ -X POST http://localhost:8501/v1/models/tf_sentence_encoder:predict
于 2020-02-28T10:10:23.017 回答