问题标签 [google-cloud-ml]

Google 最近发布了 Cloud ML，https: //cloud.google.com/ml/，它非常有用。然而，一个限制是 Tensorflow 程序的输入/输出应该支持 gs://。

如果我们使用所有 tensorflow API 来读/写文件，应该没问题，因为这些 API 支持gs://.

但是，如果我们使用原生文件 IO API，例如open，它就不起作用，因为它们不理解gs://

例如：

此代码在 Google Cloud ML 中不起作用。

但是，将所有原生文件 IO API 修改为 tensorflow API 或 Google Storage Python API 确实很繁琐。有什么简单的方法可以做到这一点吗？gs://在本机文件 IO 之上支持谷歌存储系统的任何包装器？

正如这里所建议的，将腌制的 scipy 稀疏矩阵作为输入数据？，也许我们可以使用file_io.read_file_to_string('gs://...')，但这仍然需要大量的代码修改。

我创建了一个 tensorflow 会话，其中export.meta文件为 553.17 MB。每当我尝试将导出的图形加载到 Google ML 中时，它都会因错误而崩溃：

gcloud beta ml models versions create --origin=${TRAIN_PATH}/model/ --model=${MODEL_NAME} v1

错误：(gcloud.beta.ml.models.versions.create) 错误响应：[3] 创建版本失败。访问模型位置 gs://experimentation-1323-ml/face/model/ 时出错。请确保服务帐户 cloud-ml-service@experimentation-1323-10cd8.iam.gserviceaccount.com 具有对存储桶和对象的读取权限。

该图是 VGG16 人脸识别的静态版本，因此export除了一个虚拟变量外是空的，而所有“权重”都是export.meta. 这会影响事情吗？我该如何调试呢？

在 Google Cloud ML（机器学习）中，我提交了一个作业，但由于代码中的 Python 错误而失败。

修复错误后，如何重新运行作业？我应该提交一份新工作吗？

完成后，如何删除作业？

在线文档不完整。

谢谢

cloud ML How to guide ( https://cloud.google.com/ml/docs/how-tos/preprocessing-data )中的预处理页面说您应该查看 SDK 参考文档以了解有关每种类型的详细信息特征和

谁能指点我这个文档或功能类型及其方法的列表？我正在尝试设置一个离散目标，但每当我将目标设置为 .discrete() 而不是 .continuous() 时，都会出现“数据类型 int64 预期类型：float”错误

我正在使用 google cloud ml 分布式样本在计算机集群上训练模型。输入输出（即rfrecords、checkpoints、tfevents）都在gs://（google storage）上

与分布式样本类似，我使用最后调用的评估步骤，并将结果写为摘要，以便在 Cloud ML 或使用我自己的工具堆栈中使用参数超调。

但是，我不是对大量数据执行单一评估，而是运行几个评估步骤，以便检索有关性能标准的统计信息，因为我不想局限于单个值。我想获取有关性能间隔的信息。特别是，性能的差异对我来说很重要。我宁愿选择平均性能较低但最坏情况更好的模型。

因此，我运行了几个评估步骤。我想做的是并行化这些评估步骤，因为现在只有主人在评估。当使用大型集群时，它是效率低下的一个来源，并且任务工作者也需要评估。

基本上，主管创建为：

在培训结束时，我打电话给总结作家。：

我也尝试从工人那里写总结，但我得到了一个错误：基本上总结只能从主人那里写。有什么简单的解决方法吗？错误是："Writing a summary requires a summary writer."

在选择存储桶和文件夹后为模型创建新版本期间，我从 Cloud Console 收到此错误。

我尝试在 cloud ml（谷歌云平台）上运行带有 tensorflow 后端的 Keras。我发现keras似乎没有使用GPU。在我的 CPU 上运行一个 epoch 的性能是 190 秒，与我在转储的日志中看到的相同。有没有办法识别代码是在 GPU 中运行还是在 keras 中的 CPU 中运行？有没有人尝试过在 Cloud ML 上运行 Tensor 流后端的 Keras？

我正在阅读 Google Cloud ML 的预测快速入门。我已经完成了模型的训练并进行了预测并得到了预期的输出。如何查看 data/predict_sample.tensor.json 的内容，即https://cloud.google.com/ml/docs/quickstarts/prediction中使用的示例输入

我看过有关解码/编码 png/jpeg 的 tensorflow 相关帖子。但是这个文件是一个json文件。为了方便卷曲，我在https://storage.googleapis.com/darianhickmancom-ml/mnist_deployable_darianhickman_20161117_231714/sample_images/predict_sample.tensor.json分享了示例

Google Cloud ML 的Iris 示例清楚地表明，我可以通过以下步骤为 Tensorflow 模型创建输入张量：

• Create feature_set= 将特征名称映射到ml.features.FeatureColumn对象的字典
• 传入feature_set生成ml.Preprocess元数据对象
• 调用ml.features.FeatureMetadata.parse_features，它使用该元数据对象创建一个张量，该张量将表示tf.Example编码训练示例的张量转换为表示 中特征的张量字典feature_set。

但是，当我ml.features.ImageFeatureColumn在我的feature_set. 特别是，FeatureMetadata.parse_features为我的图像特征生成一个形状错误的张量。正如 的返回值所定义的ImageFeatureColumn.transform，图像特征由一个标量 JPEG 编码的字符串组成，这表明相应的张量应该是 形状(BATCH_SIZE, 1)。但是FeatureMetadata.parse_features给了我一个形状的张量(BATCH_SIZE, ImageFeatureColumn.feature_size > 1)。

这使我无法调用tf.image.decode_jpeg该张量。无论我采用什么柔道来尝试使该功能正常工作，我都会收到以下错误：

ValueError：无法将具有 524288 个元素的张量重塑为 shape ()（1 个元素）

ImageFeatureColumn.feature_size当我将（或基于此值生成的元数据）更改为 1时，此错误消失。

您可以运行以下脚本来查看此错误： http: //pastebin.com/kHjqgp0r

（运行不带参数的脚本以查看错误。带参数运行它--hack以查看我在脚本中所做的修复工作。）

这是一个错误吗？

顺便说一句，这是在 0.1.7-alpha 版本上google.cloud.ml。

当我调用包含单个功能的ml.Preprocessa时，我收到以下错误：feature_setml.features.ImageFeatureColumn

AttributeError：“列表”对象没有属性“生产者”

我相信这是一个错误，它发生如下：

• ml.Preprocess.apply来电AnalyzeData.apply
• 在google.cloud.ml.features._analysis.py:108，IdentityColumnAnalyzer图像列的 an 生成一个元数据对象，它是一个包含 dict 的单例列表
• 这意味着analysis_list成为一个包含这个字典的单例列表的单例列表
• 在google.cloud.ml.features._analysis.py:114，当analysis_list通过管道传输到时beam.Flatten()，输出是一个列表而不是 PCollection。
• 这个输出是一个列表，稍后会导致问题

可以通过运行以下脚本来演示此错误：http: //pastebin.com/ECMt0wDC

仅当feature_set包含单个功能时才会发生这种情况。我认为这是因为当有多个特征时，analysis_list包含多个对象，其中至少一个是 PCollection，这会导致beam.Flatten正确生成 PCollection。此外，这种情况仅在单个特征是一个时才会发生，ImageFeatureColumn因为大多数（如果不是全部）其他特征类型不使用IdentityColumnAnalyzer.

顺便说一句，这是在 0.1.7-alpha 版本上google.cloud.ml。