airflow - 云作曲家 + 云毫升引擎教程？

Question

我找不到云 ML 引擎 + 气流的教程，请有人帮助部署云 ML 引擎模型并与气流协调，以每小时使用新数据运行训练

Answer 1

您可以使用此处提供的 Composer 快速入门和此处的 Airflow ML Engine 操作员文档来安排 ML Engine 作业。当您在 MLEngine 上训练作业时，模型包会在 GCS 上创建，甚至可以手动创建。如果您打算进行超参数优化，那么您的包将需要包含一个 setup.py，如此处所述。

下面是 iris scikit 模型的 DAG 示例（参考这里）-

with models.DAG(
        'composer_sample_ml',
        # Continue to run DAG once per day
        schedule_interval=datetime.timedelta(days=1),
        default_args=default_dag_args) as dag:

    train_model = mlengine_operator.MLEngineTrainingOperator(
        task_id='train_model',
        project_id='PROJECT_ID',
        job_id='{}_{}'.format('iris_train_job', str(uuid.uuid4())),
        package_uris='gs://BUCKET_ID/scikit_learn_job_dir/packages/PACKAGE_ID/iris_sklearn_trainer-0.1.tar.gz',
        training_python_module='iris_sklearn_trainer.iris',
        training_args=["--jobDir='gs://BUCKET_ID/scikit_learn_job_dir'"],
        region='us-central1',
        scale_tier='BASIC',
        runtimeVersion = '1.8',
        pythonVersion = '2.7'
    )

    train_model

Answer 2

这是一个包含 ML Engine 和 Composer 的教程：https ://cloud.google.com/solutions/machine-learning/recommendation-system-tensorflow-deploy

Answer 3

作为可能在 2020 年 6 月之后寻找的任何人的更新，除了上述资源之外，这两个 PR 还包括对示例 DAG 的更新和这些运算符的指南。我认为它们尚未在文档中更新，但一旦更新，我将尝试更新

1. https://github.com/apache/airflow/pull/9727
2. https://github.com/apache/airflow/pull/9798/files?short_path=b8207cb#diff-b8207cb1601efda85d3cbcf0087a6347