3

我使用Google Cloud作曲家几天了，主要是为了将数据从 MySQL 移动到 BigQuery，它工作正常。

在某些时候，它停止工作：

  • 运行任务运行很长时间然后失败

  • 任务没有开始

  • 新dags有评论This DAG seems to be existing only locally. The master scheduler doesn't seem to be aware of its existence

我已经使用 Airflow Web UI 清理了所有 DAG 运行和任务实例，但仍然无法正常工作。

有没有办法在不丢失已完成任务结果的情况下重新启动环境？有没有其他方法可以让 Airflow 手动运行？

4

2 回答 2

2

这篇文章已有一年多的历史了，但它可能对其他人有所帮助。要回答您的 2 个问题：

  1. 如何重新启动 Composer 环境 每次将 Python 包或环境变量添加到 Composer 中时，都会重新启动整个环境，安装需要添加的内容。因此，重新启动 Composer 环境的解决方法是添加一个虚拟环境变量。跟着这些步骤：

    • 转到 GCP 中的作曲家实例
    • 环境变量选项卡
    • 编辑，添加您的环境变量并提交

  2. 如何手动运行 Airflow 您也可以通过 Composer 命令行访问 Airflow： https ://cloud.google.com/composer/docs/gcloud-installation

我希望它有帮助！

于 2019-10-30T07:29:29.330 回答
1

您无法停止/重新启动 Cloud Composer 环境。到目前为止，元数据数据库与作曲家环境相关联，因此删除此环境将删除与该任务相关联的所有内容。

于 2018-08-08T13:15:06.050 回答