google-cloud-platform - GCP、作曲家、气流、运营商

Question

由于 Google Cloud Composer 使用 Cloud Storage 来存储 Apache Airflow DAG。但是，运算符存储在哪里？我收到如下错误：

损坏的 DAG：[/home/airflow/gcs/dags/example_pubsub_flow.py] 无法导入名称 PubSubSubscriptionCreateOperator。

Answer 1

显然，根据Composer Google Group 列表中此消息中的以下帖子，作为插件安装 contrib 不需要添加插件样板。通过以下命令注册插件就足够了：

gcloud beta composer environments storage plugins import --environment dw --location us-central1 --source=custom_operators.py

详情见这里。

缺点是，如果您的 contrib 操作员使用其他操作员，您还必须复制这些操作员并修改它们在 python 中的导入方式，使用：

from my_custom_operator import MyCustomOperator

代替：

from airflow.contrib.operators.my_custom_operator import MyCustomOperator

Answer 2

此运算符已添加到Airflow 1.10.0中。截至今天，Cloud Composer 仍在使用Airflow 1.9.0，因此该运算符尚不可用。您可以将其添加为插件。