0

我想尝试 tensorflow-hub 中提供的嵌入，具体来说是“通用句子编码器”。我尝试了提供的示例（https://colab.research.google.com/github/tensorflow/hub/blob/master/examples/colab/semantic_similarity_with_tf_hub_universal_encoder.ipynb），效果很好。所以我尝试对“多语言”模型做同样的事情，但每次加载多语言模型时，colab 内核都会失败并重新启动。有什么问题，我该如何解决？

import tensorflow as tf
import tensorflow_hub as hub
import matplotlib.pyplot as plt
import numpy as np
import os
import pandas as pd
import re
import seaborn as sns
import tf_sentencepiece
import sentencepiece

# Import the Universal Sentence Encoder's TF Hub module
embed = hub.Module("https://tfhub.dev/google/universal-sentence-encoder-multilingual/1") // This is where the kernel dies.
print("imported model")
# Compute a representation for each message, showing various lengths supported.
word = "코끼리"
sentence = "나는 한국어로 쓰여진 문장이야."
paragraph = (
    "동해물과 백두산이 마르고 닳도록. "
    "하느님이 보우하사 우리나라 만세~")
messages = [word, sentence, paragraph]

# Reduce logging output.
tf.logging.set_verbosity(tf.logging.ERROR)

with tf.Session() as session:
  session.run([tf.global_variables_initializer(), tf.tables_initializer()])
  message_embeddings = session.run(embed(messages))

  for i, message_embedding in enumerate(np.array(message_embeddings).tolist()):
    print("Message: {}".format(messages[i]))
    print("Embedding size: {}".format(len(message_embedding)))
    message_embedding_snippet = ", ".join(
        (str(x) for x in message_embedding[:3]))
    print("Embedding: [{}, ...]\n".format(message_embedding_snippet))
4

1 回答 1

0

我对多语言句子编码器也有类似的问题。我通过将 tensorflow 版本指定为 1.14.0 并将 tf-sentencepiece 指定为 0.1.83 来解决它，因此在 colab 中运行代码之前，请尝试：

!pip3 install tensorflow==1.14.0
!pip3 install tensorflow-hub
!pip3 install sentencepiece
!pip3 install tf-sentencepiece==0.1.83

我能够在 colab 中复制您的问题，并且此解决方案正确加载了模型：

在此处输入图像描述

这似乎是句子和 tensorflow 之间的兼容性问题，请在此处检查有关此问题的更新。让我们知道怎么回事。祝你好运，我希望这会有所帮助。

编辑：如果 tensorflow 版本 1.14.0 不起作用，请将其更改为 1.13.1。一旦弄清楚了tensorflow和sentencepiece之间的兼容性，这个问题就应该得到解决。

于 2019-08-30T08:57:29.827 回答