问题标签 [serving]

我们已经使用 TensorFlow Serving 来加载模型并实现 Java gRPC 客户端。

正常它适用于小数据。但是如果我们请求更大的batch size并且数据几乎是1~2M，服务器会关闭连接并快速抛出内部错误。

我们还在https://github.com/tensorflow/serving/issues/284中打开了一个问题来跟踪它。

对于一个项目，我们的团队正在使用 app engine python 环境来托管几个脚本，这些脚本正在抓取一个网站，以各种 json 文件和图像目录的形式存储数据。我们希望将这些目录暴露给一个 url（例如：应用引擎目录中的 /img/01.jpg 到“sample.appspot.com/img/01.jpg”）。原因是我们希望能够使用 fetch api 将这些文件直接下载到 react-native 移动应用程序。使用应用程序引擎是否可行、高效且快速？如何实现？如果不是，我们可以使用哪种谷歌云服务组合来实现相同的功能以及如何实现？

我正在为我的 Tensorflow 模型而苦苦挣扎。我已经使用tf.PaddingFIFOQueue对其进行了训练，然后我主要使用了本教程：https ://blog.metaflow.fr/tensorflow-how-to-freeze-a-model-and-serve-it-with-a-python- api-d4f3596b3adc#.dykqbzqek，用于冻结图形及其变量，然后将其加载到库中以推断模型。

我的问题是我真的不知道如何运行模型来进行预测，一旦它被加载。在仅占位符作为输入的情况下，只需要获取输入和输出变量，然后运行模型：

在这个例子中，它看起来真的很简单，但是对于带有输入管道的用例，我并没有真正弄清楚如何让它工作。我什至没有找到任何相关的东西。我有人可以给我一个提示，应该如何做到这一点，或者人们通常如何在生产中使用 Tensorflow 会非常有帮助。

我有一个复杂的网络，我为它创建了一个非常简单的类，用于在模型序列化为冻结图形文件后推断模型。

问题是在这个文件中我需要用他的命名空间加载变量，这可能最终取决于我如何构建模型。在我的情况下，结果如下：

我想在将这两个节点存储到模型中之前给它一个别名，例如它们最终会有一个通用名称，然后我的推理类可以用作获取模型的通用类。在这种情况下，我最终会做这样的事情：

那么有没有办法给他们一个别名呢？我真的什么都没找到。

非常感谢！

现在我们可以成功地使用 Tensorflow Serving 服务模型。我们使用以下方法导出模型并使用 Tensorflow Serving 托管它。

然而我们的问题是——我们希望 keras 与 Tensorflow 服务集成。我们想通过使用 Keras 的 Tensorflow 服务来服务模型。我们想要这样做的原因是 - 在我们的架构中，我们遵循几种不同的方法来训练我们的模型，例如 deeplearning4j + Keras、Tensorflow + Keras，但对于服务，我们只想使用一个可服务的引擎，即 Tensorflow Serving。我们没有看到任何直接的方法来实现这一目标。任何意见 ？

谢谢你。

我已经在 Ubuntu linux 机器上安装了 Tensorflow。按照以下链接安装语法网。 https://github.com/tensorflow/models/tree/master/syntaxnet

使用以下命令成功地使用 Syntaxnet 解析句子。 echo 'Bob brought the pizza to Alice.' | syntaxnet/demo.sh

我想使用 AWS AMI 映像中的 REST 运行 Syntaxnet 的 Parsey McParseface 解析器。

按照本文中给出的说明启用 TensorFlow 服务。
https://github.com/dmansfield/parsey-mcparseface-api

当我运行命令“bazel build -c opt parsey_api/...”时收到以下错误

错误：无法加载 Skylark 扩展 '@io_bazel_rules_closure//closure:defs.bzl'。当存储库在使用之前未定义时，通常会发生这种情况。也许存储库 'io_bazel_rules_closure' 稍后在您的 WORKSPACE 文件中定义？错误：在目标解析期间检测到循环。

我怎样才能通过这个来实际使用 Tensorflow 为模型提供服务？

任何帮助是极大的赞赏。

我有一个简单的 Flask/Nginx 服务器和 3 个文件位置/opt/hosting/files：

在文件夹中files，我有 3 个文件：两个图像和一个更大的 zip 文件：

我正在提供这些文件，而前两个似乎没有问题，我403 Forbidden通过 www 和使用 wget 获取 zip 文件。我认为目录权限设置正确，因为其他两个文件都很好。Zip 文件的属性甚至更高，因此这也不应该成为问题。

我尝试将chown root:rootandchown 777用于文件和文件夹，但无论如何都无法访问该文件。进行更改后，我正在重新启动 nginx sudo systemctl restart uwsgi。SELinux 显示Enforcing.

这里有什么问题？

回溯（最近一次通话最后）：

文件“/root/serving/bazel-bin/tensorflow_serving/example/inception_client.runfiles/tf_serving/tensorflow_serving/example/inception_client.py”，第 56 行，在 tf.app.run() 文件“/root/serving/bazel- bin/tensorflow_serving/example/inception_client.runfiles/org_tensorflow/tensorflow/python/platform/app.py”，第 48 行，在运行 _sys.exit(main(_sys.argv[:1] + flags_passthrough)) 文件“/root/ serving/bazel-bin/tensorflow_serving/example/inception_client.runfiles/tf_serving/tensorflow_serving/example/inception_client.py"，第 51 行，主要结果 = stub.Predict(request, 10.0) # 10 secs timeout File "/usr/local /lib/python2.7/dist-packages/grpc/beta/_client_adaptations.py”，第 324 行，通话中 self._request_serializer, self._response_deserializer) 文件“/usr/local/lib/python2.7/dist-packages/grpc/beta/_client_adaptations.py”，第 210 行，在 _blocking_unary_unary 中引发 _abortion_error(rpc_error_call) grpc.framework.interfaces。 face.face.AbortionError: AbortionError(code=StatusCode.FAILED_PRECONDITION, details="未找到默认服务签名密钥。")

当我运行命令时：

我得到了错误：

grpc.framework.interfaces.face.face.AbortionError: AbortionError(code=StatusCode.FAILED_PRECONDITION, details=”未找到默认服务签名密钥。”)

服务器运行良好，但问题发生了。

你能告诉我我能做些什么来摆脱它吗？

有条件的服务聚合物 es6-bundle、es5-bundle 和非捆绑版本有哪些选项？

如果可能的话，首选选项是 nginx，所以基本上如何检测 HTTP2 以及用户代理是否有良好的正则表达式来检测 es6

我正在尝试将 python 代码重写为mnist_clientc++。由于我是 tensorflow 和 TF 服务的新手，我遇到了一些困难。我浏览了教程和 C++ 客户端示例 ( inception_client)。Pythonmnist_client工作没有任何问题，但是当我运行我的 c++ 客户端时，它给了我arg[0] is not a matrix

我按照教程中的方法训练了模型，并检查了我读取的 minst 数据是否正常。

由此： tensorflow Invalid argument: In[0] is not a matrix，我知道MatMul至少需要 2-dim 数据。但是，我浏览了inception_client和 python的 c++ 代码，mnist_client并且都将图像数据读入了 1-dim char 数组......我在这里错过了什么？

代码inception_client：https ://github.com/tensorflow/serving/blob/master/tensorflow_serving/example/inception_client.cc

任何帮助将非常感激。:)

编辑 1：我认为问题一定出在模型的创建方式以及客户端发送的数据的维度上。我使用了提供的 python 程序来训练和导出设置尺寸的模型：