4

我有一个使用 tensorflow 的谷歌机器学习模型，没关系。现在我想用 GPU 做一些预测。我看到了这个链接，但它讲述了使用 GPU 进行训练而不是预测。预测会话中没有关于 GPU 的内容。

有人知道是否可以使用带有 GPU 的谷歌机器学习引擎进行预测？或者如果我使用 GPU 进行训练，我的预测会自动使用 GPU 运行？

我正在使用以下命令行：

gcloud ml-engine predict --model ${MODEL_NAME} --json-instances request.json

此命令有效，但它正在使用 CPU。附加信息：我的模型发布在 us-east1 区域，我的比例是自动的。

4

4 回答 4

1

您不能选择在 ml-engine 中使用 GPU 进行预测。目前还不清楚他们是否默认使用 GPU——我会链接到文档，但没有可用的。

但是，我确信他们没有使用 TPU。目前，Google 仅将 TPU 用于内部服务；尽管他们专门为研究人员创建了一个 TPU 云来进行实验：https ://yourstory.com/2017/05/google-cloud-tpus-machine-learning-models-training/

如果您想更好地控制预测的运行方式，您可以以相同的价格配置具有高性能 Tesla K80 GPU 的 Google 计算引擎。你的 TensorFlow 模型也可以在那里工作，而且设置起来很简单。

我的建议是使用您的 GCE 实例进行基准预测，然后将它们与 ml 引擎进行比较。如果 ml-engine 比 GCE 快，那么 Google 可能正在使用 GPU 进行预测。当然，他们的目标是在未来提供 GPU 和 TPU 作为机器学习引擎，但如今，HPC 云的需求正在超载。

于 2017-06-05T06:31:41.307 回答
1

GCP ML Engine 上的在线预测默认使用具有高延迟的单核 CPU。如果它符合您的要求，您可以使用更快地提供预测的四核 CPU。要使用它，您必须指定 CPU 的类型，以用于在 ML Engine 上创建模型版本的预测。文档链接：https ://cloud.google.com/ml-engine/docs/tensorflow/online-predict 。

于 2019-02-11T06:54:18.073 回答
0

我们现在支持 GPU。文档在这里！

例子：

gcloud beta ai-platform versions create version_name \
  --model model_name \
  --origin gs://model-directory-uri \
  --runtime-version 2.1 \
  --python-version 3.7 \
  --framework tensorflow \
  --machine-type n1-standard-4 \
  --accelerator count=1,type=nvidia-tesla-t4 \
  --config config.yaml

如果您为模型版本使用一种 Compute Engine (N1) 机器类型，则可以选择添加 GPU 来加速每个预测节点。

  • 英伟达特斯拉 K80
  • 英伟达特斯拉 P4
  • 英伟达特斯拉 P100
  • 英伟达特斯拉 T4
  • 英伟达特斯拉 V100
于 2020-03-12T18:17:33.077 回答
-2

这个网站有一些信息：

https://cloud.google.com/ml-engine/docs/how-tos/getting-started-training-prediction

然而，这是一种完全不同的训练和预测方式。它们提供了对其服务基础设施进行培训和预测的方法。您只需使用您的 Tensorflow 程序构建模型，然后将他们的硬件与他们的云 SDK 一起使用。所以不管它是在 CPU 还是 GPU 上运行都不应该打扰你。

于 2017-06-01T05:59:15.520 回答