问题标签 [tensorflow-serving]

我想知道如何在生产服务器上使用我用 keras 训练的模型。我听说过 tensorflow 服务，但我不知道如何将它与我的 keras 模型一起使用。

我找到了这个链接：https ://blog.keras.io/keras-as-a-simplified-interface-to-tensorflow-tutorial.html

但我不知道如何初始化 sess 变量，因为我的模型已经训练过了。有没有办法做到这一点？

通过在网络上搜索您的问题，您发现了哪些相关的 GitHub 问题或 StackOverflow 线程？

我正在尝试导出服务模型，但它报告有关输入张量的类型错误。但在导出和预测部分，输入是相同的类型。

如果可能，请提供一个可重现的最小示例（我们通常没有时间阅读您的数百行代码）

这是我导出的示例代码```

```

这是我的预测代码

```

```

日志或其他有用的输出

（如果日志很大，请作为附件上传或提供链接）。

```

```

我知道我可以在创建会话时传递选项。问题是我有一个 Session 的包装器，我想在创建会话后更改会话的配置（例如，内部操作并行性）。可能吗？我没有找到任何接口来做到这一点。

我正在使用聊天机器人检索项目开发一个 tensorflow 服务客户端/服务器应用程序。

我的代码有两部分，即服务部分和客户端部分。

下面是服务部件的代码片段。

下面是客户端部分的代码片段。

服务部分和客户端部分的构建都没有错误。在运行服务应用程序和客户端应用程序之后，当 rpc 调用完成时，我收到以下奇怪的错误传播到客户端应用程序。

以下是 rpc 调用完成时出现的错误

该错误很奇怪，因为似乎无法从客户端应用程序提供占位符。

如果我通过 tensorflow 服务访问模型，如何为占位符“input_example_tensor”提供数据？

回答：（ 我在这里发布了我的答案，因为由于缺少 StackOverflow 徽章，我无法将其发布为答案。任何自愿提交它作为他/她对问题的答案的人都非常受欢迎。我会批准它为答案。）

我可以通过在 estimator.export 函数中使用选项 use_deprecated_input_fn = False 来解决问题，并相应地更改输入签名。

下面是运行没有问题的最终代码。

我试图expected_out从input.

如何使用 TensorFlowexpected_out获得。input

我正在尝试为 tensorflow 服务导出我重新训练的初始图（pb 文件），因为我无法找到任何用于导出 pb 文件的片段，我必须创建自己的但显然我做错了，因为我得到“没有要保存的变量”错误，我将不胜感激

更新：在研究了更多之后，我认为我需要元图来提供变量，但是 retrain.py 没有给我元图，有什么想法吗？

使用 NLP/ML/word2vec/tensorflow 进行预测。我有 1000 条来自服务请求实用程序的记录。我有服务请求列表和行政人员为每个服务请求采取的相应行动，这些服务请求是自然英语语言（对于来自不同用户的相同类型的请求，文本可能不同）。

样本记录-

请求：除了用户 id yyy 的 xxx 邮件别名

行动：要求用户获得经理的批准，然后手动将用户 ID 添加到邮件别名组。

我的理解是，这些数据可以用作我的模型（NLP/ML/word2vec）的训练数据，这样，如果将任何相同类型的新请求作为模型的输入，模型应该能够建议所需的操作那位行政人员应该采取。这是我想要实现的目标，但不知道如何以及从哪里开始。我已经执行了样本

https://github.com/tmikolov/word2vec

https://github.com/tensorflow/tensorflow/tree/r0.12/tensorflow/models/embedding

任何指针。

我正在使用带有张量流的keras。我正在正确导出模型，但无法创建原型文件。

问题是我得到一个错误：

文件“keras_indians.py”，第 103 行，在 minimum_graph = convert_variables_to_constants(sess, sess.graph_def, ['Dense3/output_node']) 文件“/usr/local/lib/python2.7/dist-packages/tensorflow/python/ framework/graph_util.py”，第 234 行，convert_variables_to_constants inference_graph = extract_sub_graph(input_graph_def, output_node_names) 文件“/usr/local/lib/python2.7/dist-packages/tensorflow/python/framework/graph_util.py”，第 158 行, in extract_sub_graph assert d in name_to_node_map, "%s is not in graph" % d AssertionError: Dense3/output_node is not in graph

我为最后一个节点名称尝试了任何可能的变体，但它不起作用任何帮助都非常感谢！

下面是代码：

我正在尝试为对 Tensorflow Serving 的 GRPC 调用编译 pb 文件（在 php 中，但问题与 PHP 无关）

文件serving/tensorflow_serving/apis/predict.proto有：

但是，在正常设置中，tensorflow 和 tensorflow serving 不位于具有公共文件夹的层次结构中，两个导入可以从该文件夹中一起工作。

假设将 proto 文件编译为 grpc 的 pb 文件会保持层次结构，如果不将 tensorflow 服务定位在 /tensorflow/ 下，它就无法工作。我在这里想念什么？

为 grpc 客户端编译 pb 文件的最佳实践是什么？

另一个问题：如果创建了 pb 文件 - 它们包含具有相同层次结构的导入，因此它将强制客户端上的文件夹结构相同？？？这违背了 GRPC 的含义，即实体之间的隔离和分离。

TensorFlow 服务与 PHP 之间的连接非常不成熟。我在网上找不到任何相关信息。

理论上应该可以将 proto 文件编译为 pb.php 文件，但是由于某些 proto 文件位于 tensorflow_serving/apis/ 和其他位于 tensorflow/core/framework/ 的事实，它在 proto 文件依赖项上失败了. 我尝试了所有可能的组合，但没有成功。

如果您对从 PHP gRPC 客户端连接到 tensorflow 服务有任何成功/知识，请发布详细信息。具体如何编译 proto 文件以及如何使用 pb.php 文件与协议缓冲区运行时通过 gRPC 实际连接到 tensorflow 服务器

或者，如果您已经成功编译了 proto 文件，请分享它们以及如何使用它们。

任何信息都会有所帮助。谢谢！