1

根据这个问题的建议，我一直在运行一个 Python 应用程序，该应用程序使用 Tensorflow 运行模拟并将结果输出到 csv 文件，使用 AI Platform。在此之后我一直在使用 Jupyter 。

效果很好，我增加了我的虚拟机的大小以更快地运行它。

现在如何添加机器以使其运行得更快，也许使用 Spark 和/或 Dataproc，或者理想情况下，更简单的东西？

4

1 回答 1

4

AI Platform 笔记本基于单台机器。要使用计算机集群处理数据，您可以在 Dataproc 上使用 Jupyter 笔记本。要对此进行自动配置，请使用类似于以下内容的集群：

REGION=<gce_region>
gcloud beta dataproc clusters create ${CLUSTER_NAME} \ 
  --region ${REGION} \
  --optional-components ANACONDA,JUPYTER \
  --initialization-actions gs://goog-dataproc-initialization-actions-${REGION}/tony/tony.sh \
  --enable-component-gateway

这将提供一个配置了 Jupyter 笔记本的 Spark 集群和一个用于在集群上运行 Tensorflow 的框架 (Tony)。

有关 Dataproc 笔记本的更多信息，请查看： https ://medium.com/google-cloud/apache-spark-and-jupyter-notebooks-made-easy-with-dataproc-component-gateway-fa91d48d6a5a

有关托尼的更多信息，请查看这篇文章。

如果您正在寻找更多无服务器方法，您还可以查看 AI Platform 分布式训练：

于 2020-03-31T22:19:45.707 回答