问题标签 [tensorflow-serving]

是否有通过 RESTful API 部署 Tensorflow 模型的示例代码？我看到了命令行程序和移动应用程序的示例。是否有用于此的框架，或者人们只是加载模型并通过 Web 框架（如 Flask）公开预测方法以获取输入（例如通过 JSON）并返回响应？我所说的框架是指针对大量预测请求进行扩展。当然，由于模型是不可变的，我们可以启动预测服务器的多个实例并将其放在负载均衡器（如 HAProxy）后面。我的问题是，人们是否为此使用了一些框架或从头开始执行此操作，或者，这可能已经在 Tensorflow 中可用，而我没有注意到它。

从谷歌教程中，我们知道如何在 TensorFlow 中训练模型。但是，保存经过训练的模型，然后在生产服务器中使用基本的最小 python api 提供预测的最佳方法是什么。

我的问题基本上是关于 TensorFlow 最佳实践，以在不影响速度和内存问题的情况下保存模型并在实时服务器上提供预测。由于 API 服务器将永远在后台运行。

一小段python代码将不胜感激。

在高流量应用程序中使用 TensorFlow 进行实时预测的正确方法是什么。

理想情况下，我会有一个运行 tensorflow 的服务器/集群在一个端口上监听，我可以从应用服务器连接并获得类似于使用数据库方式的预测。训练应该通过 cron 作业通过网络将训练数据馈送到同一服务器/集群来完成。

如何在生产中实际使用 tensorflow？我应该建立一个 python 作为服务器运行的设置并使用 python 脚本来获取预测吗？我对此仍然很陌生，但我觉得这样的脚本需要打开会话等。这是不可扩展的。（我说的是每秒 100 次预测）。

任何指向相关信息的指针都将受到高度赞赏。我找不到任何东西。

优化器通常在许多步骤中运行相同的计算图，直到收敛。tensorflow 是否在开始时设置图形并在每个步骤中重复使用它？如果我在训练期间更改批量大小怎么办？如果我对图形进行一些负更改，例如更改损失函数，该怎么办？如果我对图表进行了一些重大更改怎么办？tensorflow 会预先生成所有可能的图表吗？当图发生变化时，tensorflow 是否知道如何优化整个计算？

我刚刚在我的主目录中运行：

现在，当我尝试使用运行张量板时

我收到以下错误：

有没有其他人有 v0.7.1 搞砸张量板？我是否还缺少安装步骤？

我正在尝试在 OSX El Capitan 上构建 tensorfolw_serving 并不断收到错误消息。我通过自制软件安装了 Bazel。

这是错误：

我还尝试在我的系统上为其提供包路径并得到一个不同的错误：

我有一个存储库，位于以下层次结构中：

然后如何在'face_ver'中构建目标'model_train.py'，而不更改'serving'目录中的任何文件，使用bazel（bazel build）

请将示例 BUILD 文件和 WORKSPACE 文件（如果需要）的代码发布到 face_ver 中。

谢谢

我正在尝试在 OSX El Capitan 上构建 TensorFlow 服务基本教程，但遇到了这个错误。有任何想法吗？

这是教程的链接：https ://tensorflow.github.io/serving/serving_basic

对我的 WORKSPACE 文件也进行了此更改（基于此讨论）：

我正在尝试使用 Docker 在 OSX El Capitan 上安装 TensorFlow 服务，但一直遇到错误。这是我正在关注的教程：

https://tensorflow.github.io/serving/docker.html

这是导致错误的命令：

这是我得到的错误：

我正在尝试保存模型，然后将其重新用于对图像进行分类，但不幸的是，我在恢复已保存的模型时遇到了错误。

创建模型的代码：

一切正常，模型存储在相应的文件夹中。

我又创建了一个 python 文件，我在其中尝试恢复模型但出现错误

我得到的错误是：

没有要保存的变量

任何帮助，将不胜感激