6

我有一个 Keras .h5 模型，我一直在本地训练，但现在希望通过 Google Cloud ML-Engine 自动化整个过程。

我已将所有 GCloud Storage 存储桶设置为可从应用程序访问，并且我已阅读有关配置作业以提交 Keras 模型以在 GCloud ML-Engine 中进行训练的信息。但是，所有这些教程（包括 google cloud ml-engine 上的文档）都表明要运行作业，最好从命令行运行gcloud ml-engine jobs submit training。

但是，我知道用于 Google Cloud 的 Python 客户端库，但是上面的文档似乎有点不透明。

有人知道我是否可以完全从 python 文件本身提交模型的训练（通过直接 API 调用或通过 Google 客户端库）？我在问，因为我希望将其变成一个完全自动化的托管 Flask Web 应用程序，用于模型训练，因此它需要尽可能地不干涉。

4

1 回答 1

8

确实有一种从 Python 脚本向 Cloud ML Engine 提交作业的方法。您可以为此目的使用Google Python API 客户端库，并且在我分享的链接中，您可以查看 API 调用方式的详细说明。有一个逐个命令的解释，最后是一个如何把所有东西放在一起的例子。为了使用该库，您必须首先安装它，如其他页面中所述。

然后，您感兴趣的方法（用于提交作业）是，您可以在开发人员页面cloudml.projects.jobs.create()中找到有关如何调用它的详细信息。我认为您可能有兴趣首先使用 REST API，以便熟悉它的工作原理；您可以通过APIs Explorer来完成。下面是用于进行 API 调用的主体示例：

training_inputs = {'scaleTier': 'CUSTOM',
    'masterType': 'complex_model_m',
    'workerType': 'complex_model_m',
    'parameterServerType': 'large_model',
    'workerCount': 9,
    'parameterServerCount': 3,
    'packageUris': ['gs://<YOUR_TRAINER_PATH>/package-0.0.0.tar.gz'],
    'pythonModule': 'trainer.task',
    'args': ['--arg1', 'value1', '--arg2', 'value2'],
    'region': '<REGION>',
    'jobDir': 'gs://<YOUR_TRAINING_PATH>',
    'runtimeVersion': '1.4'}

job_spec = {'jobId': my_job_name, 'trainingInput': training_inputs}

您应该根据您的模型的规格对其进行调整。准备就绪后，您可以查看此页面，解释如何使用 Python 提交训练作业，但简而言之，它应该是这样的：

from oauth2client.client import GoogleCredentials
from googleapiclient import discovery
from googleapiclient import errors

project_name = 'my_project_name'
project_id = 'projects/{}'.format(project_name)

credentials = GoogleCredentials.get_application_default()

cloudml = discovery.build('ml', 'v1', credentials=credentials)

request = cloudml.projects().jobs().create(body=job_spec, parent=project_id)

try:
    response = request.execute()
    # Handle a successful request

except errors.HttpError, err:
    logging.error('There was an error creating the training job.'
                  ' Check the details:')
    logging.error(err._get_reason())

您应该能够运行此代码，以便通过 Python 脚本提交 Cloud ML Engine 作业。

我希望这会有所帮助，并减轻您提到的文档的不透明度。

于 2018-01-10T14:39:36.313 回答