问题标签 [google-cloud-ml-engine]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1883 浏览

tensorflow - Tensorflow Serving - 使用 tf.contrib.learn.Experiment 训练的模型的“无可服务版本”消息

我使用 Google Cloud ML Engine 的入门教程作为参考训练了一个模型。我可以毫无问题地在 Google Cloud ML 上部署和服务这个模型。

现在我正在尝试使用 Tensorflow Serving 为其提供服务,但我收到以下消息错误:

我用来启动 de Tensorflow 服务的命令行调用是:

输出文件夹的内容是:

更新:我尝试使用冻结模型(.pb 文件和变量文件夹),这确实是我用来在 Google Cloud ML Engine 上部署模型的文件夹,但得到了相同的错误消息。

这些文件位于以下文件夹中:

我用来训练和导出模型的代码是:

有人对我做错了什么有任何提示吗?

此致!

0 投票
0 回答
73 浏览

google-cloud-ml - 在谷歌云机器学习上使用 xavier 初始化运行作业时出错

我正在使用 xavier conv2d 方法来初始化我的变量,如下所示:

培训使用 本地运行gcloud ml-engine local train,但是在将其作为作业发送到云时会崩溃。

崩溃日志:"Module raised an exception <type 'exceptions.SystemExit'>:-15."

如果我用随机统一初始化程序替换 xavier 初始化程序,则训练在我的本地机器和云上都有效:

我正在使用 python 2.7.13 在本地机器上运行 gpu_enabled tensorflow 1.01 版

0 投票
2 回答
845 浏览

tensorflow - 如何在 tf.Transform 中使用 Google DataFlow Runner 和模板?

我们正在 Google Cloud 上建立机器学习管道,利用 GC ML-Engine 进行分布式 TensorFlow 训练和模型服务,并利用 DataFlow 进行分布式预处理作业。

我们希望在 Google Cloud 上将 Apache Beam 应用程序作为 DataFlow 作业运行。查看ML-Engine 示例 ,似乎可以获得tensorflow_transform.beam.impl AnalyzeAndTransformDataset以指定要使用的PipelineRunner,如下所示:

TemplatingDataflowPipelineRunner提供了将我们的预处理开发与参数化操作分开的能力 - 请参见此处:https ://cloud.google.com/dataflow/docs/templates/overview - 基本上:

  • A)在PipelineOptions派生类型中,将选项类型更改为ValueProvider(python 方式:类型推断或类型提示???)
  • B) 将 runner 更改为TemplatingDataflowPipelineRunner
  • C) mvn archetype:generate to store template in GCS (python way: a yaml file like TF Hypertune ???)
  • D) gcloud beta 数据流作业运行 --gcs-location --parameters

问题是:你能告诉我我们如何使用tf.Transform来利用TemplatingDataflowPipelineRunner吗?

0 投票
1 回答
1065 浏览

google-cloud-platform - 在 ml-engine 上部署模型,使用 tf.train.Saver() 导出

我想在新版 Google ML Engine 上部署模型。以前,使用 Google ML,我可以导出经过训练tf.train.Saver()的模型,创建一个saver.save(session, output).

到目前为止,我无法确定以这种方式获得的导出模型是否仍可在 ml-engine 上部署,否则我必须按照此处描述的训练过程并创建一个新的训练包并必须使用 ml- 训练我的模型引擎。

我仍然可以tf.train.Saver()用来获取我将在 ml-engine 上部署的模型吗?

0 投票
1 回答
233 浏览

google-cloud-ml - cloud ml 预测 FAILED_PRECONDITION 和字段 [projectsId] 的值

我已经使用了很长一段时间的 predict 命令在本周末开始遇到错误:

我不明白如何修复错误。

为了调查该错误是否与即将删除的“cloud beta ml”命令相关,我将其替换为“gcloud ml-engine”,但遇到了以下错误:

我不明白如何解决第二个错误。据推测,其根本原因与第一个错误相同。

如何获得有关修复此错误的更多详细信息?

注意:这个问题与@jbird 提出的其他问题相似,但不一样。

0 投票
1 回答
1979 浏览

python - Tensorflow:调整图像占位符的大小

我有一个训练有素的 TF 模型,它在序列化 ( TFRecord) 输入上运行。图像数据具有可变形状,并通过 转换为 229x229x3 形状tf.image.resize_images(...)。我想使用与此类似的gcloud ml-engine predict 平台,确保接受任何尺寸的图像作为输入。

我从以下函数获取我的features张量(传递给预测图):

最后tf.reshape是因为我的预测图需要一个 shape 的张量[batch_size, 229, 229, 3]。当我通过引擎运行它时

我得到一个PredictionError

在我看来,它tf.reshape的输出tf.image.resize_images应该具有正确的形状。关于我在这里做错了什么有什么想法吗?提前致谢!

0 投票
1 回答
254 浏览

google-cloud-ml - 如何将 CloudML Alpha 模型转换为 SavedModel?

在 CloudML 在线预测服务的 alpha 版本中,导出模型的格式为:

我想将其转换为 SavedModel 而无需重新训练我的模型。我怎样才能做到这一点?

0 投票
1 回答
2079 浏览

google-cloud-ml - 将重新训练的初始 SavedModel 部署到谷歌云 ml 引擎

我正在尝试在 google cloud ml-engine 上部署重新训练的初始模型版本。从SavedModel 文档、此参考资料和 rhaertel80 的这篇文章中收集信息,我成功地将我重新训练的模型导出到 SavedModel,将其上传到存储桶并尝试将其部署到 ml-engine 版本。

最后一个任务实际上创建了一个版本,但它输出了这个错误:

Create Version failed. Bad model detected with error: "Error loading the model: Unexpected error when loading the model"

当我尝试通过命令行从模型中获取预测时,我收到以下错误消息: "message": "Field: name Error: Online prediction is unavailable for this version. Please verify that CreateVersion has completed successfully."

我进行了几次尝试,尝试了不同method_nametag选项,但都没有奏效。

添加到原始 inception 代码中的代码是

另一个可能有帮助的考虑因素:我使用导出的 a trained_graph.pbwithgraph_def.SerializeToString()在本地获取预测并且它工作正常,但是当我用它替换它时saved_model.pb它失败了。

关于问题可能是什么的任何建议?

0 投票
1 回答
35 浏览

google-cloud-ml - cloudml-samples/flowers/sample.sh 中的 runtime_version 与 runtime-version

cloudml-samples/flowers/sample.sh 的Google 示例代码中,第 52 行和第 64 行之间是参数“runtime_version”:

不应该将“runtime_version”替换为“runtime-version”以避免错误吗?

0 投票
1 回答
311 浏览

google-cloud-dataflow - 运行鲜花样本预处理时出现数据流错误

我正在尝试使用flowers-sample中包含的预处理脚本(我看到它今天已被修改并且不再被弃用)。但是,安装所需的包后,管道失败并输出这些错误日志

我从两个不同的谷歌计算引擎运行这个过程时遇到了同样的错误,我安装了 requirements.txt 中列出的包。

它是指util.pytrainer 目录中的文件还是我应该安装其他软件包以避免此错误?