问题标签 [tensorflow-serving]

我一直在尝试使用为 Inception 模型设置的服务工具来建立一个重新训练的初始模型。我一直在关注这里的教程。我设法使用重新训练的模型设置服务器。我将以下代码添加到 retrain.py 文件的末尾以便将其导出。

不过暂时我只有4节课。我已经使用 Tensorflow 工具（没有 Serving）创建了模型，我设法验证了我的模型是否适用于测试图像。现在我正在努力为它服务。我使用以下命令在模型上设置服务器：

我得到以下输出，它连续打印最后两行。

当我尝试使用 python 客户端进行初始测试时，我收到以下错误，它似乎甚至找不到我的输出：

有人可以指导我完成这个吗？这是我第一次在实际项目中使用 Tensorflow。

我正在尝试构建一个使用 TensorFlow Serving 的项目，所以我使用 WORKSPACE 文件创建了一个目录 my_dir，将服务存储库克隆到其中，将我的自定义文件放入目录 my_project，在 tensorflow_serving 中配置 tensorflow，从 my_dir 构建 tensorflow 服务/服务于

那里一切都很好，然后我尝试构建一个模仿 mnist_export 的 python 文件并将其放入 my_dir 并制作一个 BUILD 文件

但是，当我跑步时

我收到以下错误：

在我的 WORKSPACE 文件中，我有以下内容：

我的假设是，因为 tensorflow 是一个子子项目，所以它不会将其生成的文件放在祖父项目的 bazel-out 中。但是，我尝试了很多东西，但无法让它工作。

我已经在“AWS t2.large Ubuntu 14.04”服务器上安装并配置了 tensorflow 服务。

当我尝试通过执行命令mnist_client 实用程序来测试服务器时bazel-bin/tensorflow_serving/example/mnist_client --num_tests=1000 --server=localhost:9000，我收到以下错误消息：

E0605 05:03:54.617558520 1232 tcp_client_posix.c:191] failed to connect to 'ipv4:127.0.0.1:9000': timeout occurred

知道如何解决这个问题吗？

有人看过这方面的工作吗？我认为这将是一个相当常见的用例。在 python 中训练模型，导出图形并映射到一系列特征指令？

我的 demo.sh 工作正常，我查看了 parser_eval.py 并在某种程度上理解了它。但是，我看不到如何使用 TensorFlow Serving 来服务这个模型。我可以从顶部看到两个问题：

1) 这些图没有导出模型，在每次调用时使用图构建器（例如，structured_graph_builder.py）、上下文协议缓冲区和一大堆其他我不完全理解的东西来构建图（它似乎也注册了额外的 syntaxnet.ops ）。那么......是否有可能，我将如何将这些模型导出到 Serving 和所需的“捆绑”形式中SessionBundleFactory？如果不是，则似乎需要在 C++ 中重新实现图形构建逻辑/步骤，因为 Serving 仅在 C++ 上下文中运行。

2) demo.sh 实际上是两个模型，实际上是与 UNIX 管道一起通过管道传输的，因此任何 Servable 都必须（可能）构建两个会话并将数据从一个会话编组到另一个。这是一个正确的方法吗？或者是否可以构建一个“大”图，其中包含“修补”在一起的两个模型并将其导出？

我正在为神经网络使用带有批处理的 tensorflow 服务。我的代码基于inception 网络的示例：我想对图中的图像进行解码和预处理，因此我修改了导出脚本，以便使用 map 函数对图像进行预处理：

image_preprocessing与 inception 模型中的相同。它接收以字节为单位的编码图像，并返回一个浮点值的张量，图像被解码、缩放和预处理。

该模型已正确导出，但是当我在 tensorflow 服务中对其进行测试时，我收到以下错误：

grpc.framework.interfaces.face.face.NetworkError: NetworkError(code=StatusCode.INTERNAL, details="输出 0 类型字符串与节点 _recv_map/TensorArrayPack_0 = _Recvclient_terminated=true, recv_device="/job 声明的输出类型浮点不匹配:localhost/replica:0/task:0/cpu:0", send_device="/job:localhost/replica:0/task:0/cpu:0", send_device_incarnation=6080232697619483985, tensor_name="map/TensorArrayPack:0" , tensor_type=DT_FLOAT, _device="/job:localhost/replica:0/task:0/cpu:0"")

输出类型应该是一个浮点张量，就像它在 image_preprocessing 中一样，但它说它是一个字符串。怎么了？（image_preprocessing 在代码的其他部分没有任何问题，所以我认为我在这些行中做错了）

我已经使用 bazel 构建了 syntaxnet 和 tensorflow-serving。两者都嵌入了自己的（部分？）张量流本身的副本。我已经有一个问题，我想在一个脚本中“导入”一些 tensorflow-serving 部分，该脚本“存在”在我无法弄清楚的语法树中（不做一些非常丑陋的事情）。

现在我想要“tensorboard”，但这显然不是作为syntaxnet 或tensorflow-serving 内的嵌入式tensorflow 的一部分构建的。

所以现在我确定“我做错了”。我应该如何组合由各种单独的 bazel 工作区构建的工件？

特别是，我如何构建 tensorflow（使用 tensorboard）和 syntaxnet 和 tensorflow-serving 并让它们“安装”以供使用，以便我可以开始在一个完全独立的目录/存储库中编写自己的脚本？

“./bazel-bin/blah”真的是 bazel 的结局吗？没有“make install”等价物吗？

我正在尝试提供从 syntaxnet 导出的模型，但 parser_ops 不可用。带有操作的库文件位于（树外）：

../models/syntaxnet/bazel-out/local-opt/bin/syntaxnet/parser_ops.so

我目前正在破解 mnist_inference 示例，（因为我不知道如何使用 bazel 在树外构建任何东西），我正在运行的命令是：

./bazel-out/local-opt/bin/tensorflow_serving/example/mnist_inference --port=9000 /tmp/model/00000001

我得到的错误是：

F tensorflow_serving/example/mnist_inference.cc:208] Check failed: ::tensorflow::Status::OK() == (bundle_factory->CreateSessionBundle(bundle_path, &bundle)) (OK vs. Not found: Op type not registered 'FeatureSize')

而且FeatureSize肯定是在parser_ops.so中定义的，只是不知道怎么加载。

现在我正面临有关 inception v-3 和检查点数据的问题。我一直在通过我的图像更新 inception-v3 的检查点数据，阅读下面的 git 页面并成功制作新的检查点数据。

https://github.com/tensorflow/models/tree/master/inception

起初我以为只需稍微更改代码，我就可以使用这些检查点数据来识别新的图像数据，例如下面的 url。

https://www.tensorflow.org/versions/master/tutorials/image_recognition/index.html

起初我以为“classify.py”或其他东西会读取新的检查点数据，只需通过“pythonclassify.py -image something.png”，程序就可以识别图像数据。但它没有......我真的需要帮助。谢谢。

我在 TensorFlow 方面有相当多的经验，我即将开始一个项目，最终将在 C# 生产环境中使用经过 TensorFlow 训练的模型。从本质上讲，我将拥有将进入 C# 环境的实时数据，并且我最终需要根据我在 TensorFlow 中的模型输出来输出决策/采取某些行动。这基本上只是对现有基础设施的限制。

我可以想到几种可能不好的方法来实现这一点，例如将数据写入磁盘，然后调用应用程序的 Python 部分，最后读取 Python 应用程序输出的结果并根据它采取一些行动。然而，这很慢。

是否有更快的方法来完成 C# 和基于 Python 的 Tensorflow 之间的相同集成关系。我看到似乎有一些方法可以用 C++ 和 TensorFlow 做到这一点，但是 C# 呢？