问题标签 [google-cloud-ml]

我正在使用 Google Cloud ML 运行超参数调整。我想知道是否有可能从（可能是部分的）以前的运行中受益。

一种应用是：

1. 我启动了一个超参数调整作业
2. 我停止它是因为我想更改我正在使用的集群类型
3. 我想在一个新集群上重新启动我的超调作业，但我想从我已经支付的以前的运行中受益。

或其他应用程序：

1. 我启动了一个超调运动
2. 以后想延长试验次数，不从头开始
3. 然后例如，我想删除一个自由度（例如 training_rate），专注于其他参数

基本上，我需要的是“我怎样才能有一个 hypertune 的检查点？”

谢谢 ！

我已经使用RESTful API向云提交了一个训练作业，并在控制台日志中看到它已成功完成。为了部署模型并将其用于预测，我使用tf.train.Saver().save()（根据操作指南）保存了最终模型。

在本地运行时，我可以在工作目录中找到图形文件 (export-*和)。export-*.meta然而，当在云上运行时，我不知道它们最终会在哪里。API 似乎没有用于指定这一点的参数，它不在训练器应用程序的存储桶中，而且我在作业创建的云存储上找不到任何临时存储桶。

使用 TensorFlow 时，将哪种类型的硬件用作 Google Cloud ML 的一部分？只有 CPU 或张量处理单元（自定义卡）也可用？

参考这篇文章

我实际上是在谷歌云上试验新的机器学习 API。所有教程都很好，机器学习 API 已激活，我可以训练模型并在命令行中访问作业的状态。但由于某种原因，我无法打开页面https://console.cloud.google.com/ml/来在线管理我的模型和工作。

此外，我在https://console.cloud.google.com/home/dashboard左侧的“产品和服务”列中没有机器学习按钮。

即使我可以不用，我希望我可以访问这个控制台以使我的工作更轻松。

我在这里发现了同样的问题：Google Cloud ML Console UI 在哪里？但问题似乎已经解决，因为我的一位同事可以访问它。有什么要更新的吗？

我有两个在 Google Cloud ML 上训练的模型版本，一个使用 2 个工作人员，一个只使用主节点。但是，在分布式模式下训练后召回率显着下降。我遵循了为大约 2000 个步骤提供的示例示例（工人和主人都参与了这些步骤）

只有大师

硕士和2名工人

当我使用谷歌云机器学习的预测命令（https://cloud.google.com/ml/docs/quickstarts/prediction）时，我经常收到以下错误：

有什么办法可以解决这个错误吗？

我正在研究一个多类分类问题，包括对简历进行分类。

我使用 sklearn 和它的 TfIdfVectorizer 来获得一个大的 scipy 稀疏矩阵，我在酸洗后将其输入到 Tensorflow 模型中。在我的本地机器上，我加载它，将小批量转换为密集的 numpy 数组并填充一个提要字典。一切都很好。

现在我想在 ML 云上做同样的事情。我的 pickle 存储在，但是当我运行我的训练器时，在这个 URI ( )gs://my-bucket/path/to/pickle中找不到 pickle 文件。IOError: [Errno 2] No such file or directory我pickle.load(open('gs://my-bucket/path/to/pickle), 'rb')用来提取我的数据。我怀疑这不是在 GCS 上打开文件的好方法，但我对 Google Cloud 完全陌生，找不到正确的方法。

另外，我读到必须对输入数据使用 TFRecords 或 CSV 格式，但我不明白为什么我的方法不起作用。CSV 被排除在外，因为矩阵的密集表示太大而无法放入内存。TFRecords 可以像这样有效地编码稀疏数据吗？是否可以从泡菜文件中读取数据？

问题

使用 REST API，我已经训练并部署了一个我现在想用于预测的模型。我已经定义了预测输入和输出的集合，并将相应格式的 json 文件上传到云存储。但是，在尝试创建预测作业时，我无法确定该dataFormat字段使用什么值，这是必需的参数。有没有办法列出所有有效值？

我试过的

我的请求如下所示。我已经尝试过JSON，NEWLINE_DELIMITED_JSON（比如将数据导入 BigQuery 时），甚至是 json mime 类型application/json，在我能想到的几乎所有不同的情况下（上下结合蛇、骆驼等）。

我所有的尝试都只让我回来了：

我有一个以分布式模式运行 4000 步的模型。每 120 秒计算一次精度（如提供的示例中所做的那样）。但是，有时找不到最后一个检查点文件。

错误：

无法匹配检查点 gs://path-on-gcs/train/model.ckpt-1485 的文件

检查点文件位于该位置。2000 步的本地运行完美运行。

我假设检查点仍在保存过程中，并且文件实际上并未写入。尝试在这样计算精度之前引入等待。但是，起初这似乎可行，该模型仍然因类似问题而失败。

Cloud ML 说明展示了如何使用 shell 命令获取服务帐号。如何在 Python 中以编程方式执行此操作？例如在 Datalab 中？