apache-spark - 气流操作员使用 gcloud beta dataproc 命令

Question

有谁知道它是否存在可以执行 gcloud beta 命令的 Airflow 操作员？我正在尝试在 GKE 集群上启动 Spark 作业。gcloud beta 命令有效，但使用DataprocSparkOperator.

使用此操作员，工作不断转动，但驱动程序 pod 未实例化，但它可以执行此处引用的 gcloud 命令：https ://cloud.google.com/dataproc/docs/concepts/jobs/dataproc-gke

Answer 1

老实说，我相信 Airflow 并非旨在运行gcloud命令。如果没有运营商，你可以使用它更好地使用谷歌API进行传导PythonOperator。

如果您真的想使用gcloud命令，则需要gcloud在您的 Airflow 实例中安装 SDK： https ://cloud.google.com/sdk/docs/downloads-interactive#silent 。它很重，所以如果你有 Airflow as a Service，部署它需要更长的时间。

毕竟你需要授权 - 有一种service-account方法可能对你来说是最佳的：https ://cloud.google.com/sdk/gcloud/reference/auth/activate-service-account 。
你必须放在service-account一些安全的地方，例如HDFS（如果你有一个集群）。出于本地目的，它可以存储在本地。

如果您已完成授权，只需使用BashOperator您想要的 - 您已gcloud安装 Airflow。