问题标签 [tensorflow-serving]

TensorFlow 提供了本教程作为在 Android 应用程序上使用 TensorFlow 的示例。

我已经成功构建了应用程序并在我的设备上启动了它。我也阅读了代码。

但我不知道从这里去哪里！我有一个 tensorflow 代码，可以根据训练数据计算准确性。

如何在我自己的 android 应用程序中使用该模型。tensorflow 描述并没有超出构建指令的范围。

请帮忙！

我目前正在关注训练和导出 TensorFlow 模型：

它为每个步骤产生：

如何获取这些文件并创建冻结模型（例如使用freeze_graph.py）？

看起来freeze_graph.py想要一个GraphDef，但我只有一个MetaGraph文件。我需要先提取这个吗？

该export-00000-of-00001文件可以用于“要加载的 TensorFlow 变量文件”吗？

尝试冻结模型时，我应该通过其他任何标志吗？

我正在 TensorFlow Serving 中运行示例 iris 程序。由于它是一个 TF.Learn 模型，我正在使用以下方法导出模型，classifier.export(export_dir=model_dir,signature_fn=my_classification_signature_fn)并且 signature_fn 的定义如下所示：

使用以下代码成功导出模型。

我创建了一个使用 TensorFlow Serving 进行实时预测的客户端。

以下是客户端的代码：

但是，在进行预测时，会显示以下错误：

这是整个堆栈跟踪。

在此处输入图像描述

虹膜模型的定义方式如下：

请指导此错误的解决方案。

我发现很难导出经过训练的 im2txt 模型检查点。是否有关于如何导出已经训练show and tell或任何其他图像字幕模型的示例文档？

我训练一个带有占位符的模型is_training：

但是一旦完成训练和验证，我想false为这个值永久注入一个常量，然后“重新优化”图形（即使用optimize_for_inference）。有没有类似的东西freeze_graph可以做到这一点？

在我成功训练模型后，使用 freeze_graph.py 导出图形并使用 bazel 使用自定义的 /tensorflow/examples/label_image/main.cc 构建它，我收到以下运行时错误。

我很困惑，因为前面的所有步骤都成功了，我想知道 [150, 4]。我的 batch_size 是 150，4 是类的数量，但为什么这个张量是我本地层中 matmul 操作的输入？此代码显示 local3 层。pool4 层看起来像这样 [150x10x10x6]

对于模型，我使用了 tensorflow 的 cifar10-tutorial 作为起点。我的 local3 层非常依赖于教程中的层。

我目前正在尝试使用 tensorflow 服务来服务于训练有素的“ textsum ”模型。我正在使用TF 0.11，经过一番阅读，它似乎会自动调用 export_meta_graph 来创建导出的文件ckpt和ckpt.meta文件。

在 textsum/log_root 目录下，我有多个文件。一个是model.ckpt-230381，另一个是model.ckpt-230381.meta。

因此，据我了解，这是我在尝试设置服务模型时应该能够指出的位置。我已发出以下命令：

运行上述命令后，我收到以下消息：

W tensorflow_serving/sources/storage_path/file_system_storage_path_source.cc:204] 在基本路径 tf_models/textsum/log_root/ 下找不到可服务模型的版本

在检查点文件上运行 inspect_checkpoint 后，我​​看到：

我是否误解了出口需要发生的事情？关于为什么找不到模型的任何想法？

我正在尝试导出我的本地 tensorflow 模型以在 Google Cloud ML 上使用它并对其进行预测。

我正在使用 mnist data 关注 tensorflow 服务示例。他们处理和使用输入/输出向量的方式有很大差异，这不是您在网上的典型示例中找到的。

我不确定如何设置我的签名参数：

这是我的其余代码：

在 Google Cloud ML 上上传和使用它的具体步骤是什么？他们的演练似乎是针对在云本身而不是在本地机器上训练的模型。

我正在尝试使用 TFrecord 文件在 tensorflow 中训练网络。问题是它开始运行良好，但一段时间后，它变得非常慢。甚至 GPU 利用率也会在一段时间内降至 0%。我已经测量了迭代之间的时间，并且明显在增加。我在某处读到这可能是由于在训练循环中向图形添加操作，这可以通过使用 graph.finalize() 来解决。

我的代码是这样的：

然后我有一个看起来像这样的训练阶段：

当我添加 grapgh.finalize 时，有一个异常显示： type 'exceptions.RuntimeError' 谁能向我解释一下，在训练期间使用 TFrecord 文件的正确方法是什么，以及如何使用 graph.finalize()不干涉 QueueRunner 执行？

完整的错误是：

我一直在研究 Tensorflow 图间同步训练应用程序。同步训练由 SyncReplicasOptimizerV2 类实现。从SyncReplicasOptimizerV2 类的文档中，我了解到一组梯度队列和一个令牌队列是为同步而创建的。

我在想

1. 这些队列位于哪里，主要工作任务或 ps 任务？如果梯度队列是主要工作人员，据我所知，主要工作人员任务还必须处理检查点、初始化、摘要......
2. 这个单一的首席工作者任务容易成为性能瓶颈吗？
3. 不同的工作任务（除了负责人）之间是否有任何网络通信，如果是，网络通信的存在是什么？

PS：我所有的问题都是在进行图间复制训练的场景中，每个任务都在不同的机器上。