问题标签 [google-cloud-composer]

我正在使用 bash 运算符来安排容器在计算实例上运行。

容器会自动启动一个进程来进行一些计算。我怎样才能检测到该过程已经完成了它的计算？

我需要有可以手动或以编程方式执行的管道，可以使用 Airflow 吗？看起来现在每个工作流程都必须与时间表相关联。

为了将 bigquery 查询与实际代码分开，我想将 sql 存储在一个单独的文件中，然后从 python 代码中读取它。我试图将文件添加到与 DAG 相同的存储桶中以及子文件夹中，但是当气流运行带有 sql 文件的 python 脚本时，我似乎无法读取文件。

我想要的是这样的：

sql 文件可能是我需要首先读取的文件，以注入 jinja 模板不支持的内容。

我可以做到以上吗？

鉴于 GCP Cloud Composer 与 GKE/GCE 一起运行，它是自动缩放吗？

现在我在集群中有 3 个节点来支持 100 个 DAG。

稍后，如果我有大约 300 个 DAG，它会自行扩展（与芹菜工人一起）吗？

我正在 Airflow 中创建一个 Hourly 任务来安排 Dataflow 作业，但是 Airflow Library 提供的钩子大多数时候在数据流作业实际成功时崩溃。

我在Airflow github repo中查看该文件，并且行错误不匹配，这让我认为来自 Cloud Composer 的实际 Airflow 实例已过时。有什么办法可以更新吗？

我正在尝试在使用用户定义函数（UDF）的 Airflow（使用 Google 的 Composer）任务中运行一个基本的 bigquery 运算符。

该示例来自https://cloud.google.com/bigquery/docs/reference/standard-sql/user-defined-functions并在 BigQuery 中完美运行。

但是，当我上传到作曲家时，我得到“未找到函数：multiplyInputs ...”请参见下面的 python 脚本。

BigQueryOperator 的 udf_config 字段需要一个列表，所以我将我的 UDF 定义为一个包含一个字符串的列表 - 不确定这是否正确，因为它显然没有注册为 UDF

任何帮助将不胜感激。

在这一点上，我正在考虑pip install fabric2每次我的操作员执行时调用 bash 命令，但这看起来不是一个好主意。

气流上的信息记录对我来说太多了，那么如何更改日志级别？

我以为我可以使用以下命令：

dag 的清除状态在 2018-05-13 运行。由于某种原因，它不起作用。发生的情况是 CLI 挂起如下消息：

上述命令的预期行为是什么？我希望它可以清除间隔内的 dag 运行，但我可能做错了什么。

GCS/dags我想从 Airflow UI 中删除一个 DAG，该 DAG 在文件夹中不再可用。我知道 Airflow 有一种“新”方法可以使用 airflow delete_dag my_dag_id命令从数据库中删除 dag，见https://stackoverflow.com/a/49683543/5318634

似乎在作曲家气流版本中，该delete_dag命令尚不受支持。

不要尝试这个： 我也尝试过使用airflow resetdb并且气流 UI 死了

有没有办法删除当前不在gs://BUCKET/dags/文件夹中的 dag？