1

我成功地使用以下代码将 TF2 图像分割模型保存并部署到 AI Platform：

@tf.function(input_signature=[tf.TensorSpec(shape=(None), dtype=tf.string)])
def serving(input_image):

    # Convert bytes of jpeg input to float32 tensor for model
    def _input_to_feature(image_bytes):
        img = tf.image.decode_jpeg(image_bytes, channels=3)
        img = tf.image.convert_image_dtype(img, tf.float32) / 255.0
        img = tf.image.resize_with_pad(img, 256, 256)
        return img
    img = tf.map_fn(_input_to_feature, input_image, dtype=tf.float32)

    # Predict
    pred = model(img)

    def _pred_to_image(pred):
        pred = tf.cast(pred * 255, dtype=tf.uint8)

        img_str = tf.image.encode_png(pred, compression=-1, name=None)
        return img_str

    img_str = tf.map_fn(_pred_to_image, pred, dtype=tf.string)

    return img_str


tf.saved_model.save(model, export_dir=checkpoint_dir+'/saved_model', signatures=serving)

但是，在发送这样的请求时出现此错误：

img_str = base64.b64encode(open('sample_372.jpg', "rb").read()).decode()
response = service.projects().predict(name=name,body={'instances': [img_str]}).execute()

HttpError: <HttpError 400 when requesting https://ml.googleapis.com/v1/projects/nerveblox-268109/models/femoral/versions/v6:predict?alt=json returned "{ "error": "Expected image (JPEG, PNG, or GIF), got unknown format starting with \'/9j/4AAQSkZJRgAB\'\n\t [[{{node DecodeJpeg}}]]" }">

有人遇到过类似的问题吗？这似乎是一个问题tf.image.decode_jpeg。我也尝试过tf.image.decode_image并得到了类似的错误。我可以使用tf.image.decode_jpeg我的本地 Base64 编码，所以这个函数应该能够工作，但不知何故它没有在服务器中接收相同的输入！

4

2 回答 2

5

经过大量的实验（由于 Tensorflow 的文档有限且过时），我意识到为了让服务函数解码 Base64，应该像这样发送请求：{'instances': [{'b64': image_base64}]}. convert_image_dtype还将数据本身缩放到 [0,1]，因此不应执行 /255.0 。也map_fn仅适用于 CPU，因此应与with tf.device('/cpu:0'):. 最后也是最烦人的部分是 Base64 的编码。tf.io.encode_base64是我在 Tensorflow 中找到的唯一一种编码为 Base64 的方法，但它编码为网络安全，这意味着它将 \ 和 + 替换为 _ 和 - 以便在 URL 中工作。但是 Google API Client 只接受普通的 Base64 编码。所以我不得不通过正则表达式来扭转这一点。这是更新后的服务功能：

@tf.function(input_signature=[tf.TensorSpec(shape=(None), dtype=tf.string)])
def serving(input_image):

    # Convert bytes of jpeg input to float32 tensor for model
    def _input_to_feature(img_bytes):
        img = tf.image.decode_image(img_bytes, channels=3)
        img = tf.image.convert_image_dtype(img, tf.float32)
        img = tf.image.resize_with_pad(img, 256, 256)
        return img

    # Preprocessing
    with tf.device('/cpu:0'):
        img = tf.map_fn(_input_to_feature, input_image, dtype=tf.float32)

    # Prediction
    with tf.device('/gpu:0'):
        pred = model(img)
        colors = tf.constant([[0.2, 0.3, 0.4]])
        pred_rgb = tf.tensordot(pred, colors, axes=1)

    def _pred_to_image(pred):
        pred = tf.image.convert_image_dtype(pred,dtype=tf.uint8)

        pred_str = tf.image.encode_png(pred, compression=4)
        pred_encoded = tf.io.encode_base64(pred_str, pad=True)
        pred_encoded = tf.strings.regex_replace(pred_encoded, '_', '/')
        pred_encoded = tf.strings.regex_replace(pred_encoded, '-', '+')

        return pred_encoded

    # Postprocessing
    with tf.device('/cpu:0'):
        img_str = tf.map_fn(_pred_to_image, pred_rgb, dtype=tf.string)

    return img_str


tf.saved_model.save(model, export_dir=checkpoint_dir+'/saved_model', signatures=serving)
于 2020-05-18T17:18:39.963 回答
0

我意识到它也可以在没有tf.map_fn这样的情况下工作，

# Prediction
with tf.device('/gpu'):
    img = tf.image.decode_image(input_image[0], channels=3)

    img = tf.image.convert_image_dtype(img, tf.float32)
    img = tf.expand_dims(img, axis=0)
    pred = model(img)[0]
    colors = tf.constant([[0, 0, 0],
                          [1., 0, 0],
                          [0, 1., 0],
                          [0, 0, 1.],
                          [1., 1., 0]
                         ])
    pred_rgb = tf.tensordot(pred, colors, axes=1)

    not_background = pred[...,0][...,None] < 0.9
    transparency = tf.cast(not_background, dtype=tf.float32)*0.3

    rgba = tf.concat((pred_rgb, transparency), axis=-1)
    rgba = tf.image.convert_image_dtype(rgba, dtype=tf.uint8)

    pred_str = tf.image.encode_png(rgba, compression=5)
    pred_encoded = tf.io.encode_base64(pred_str, pad=True)
    pred_encoded = tf.strings.regex_replace(pred_encoded, '_', '/')
    pred_encoded = tf.strings.regex_replace(pred_encoded, '-', '+')
    pred_encoded = tf.expand_dims(pred_encoded, axis=0)

return pred_encoded
于 2020-06-08T12:27:38.127 回答