python - 如何在 Google Composer 上重新启动气流服务器？

Question

当我需要在本地重新启动网络服务器时，我会这样做：

ps -ef | grep airflow | awk '{print $2}' | xargs kill -9
airflow webserver -p 8080 -D

如何在 Google Composer 上执行此操作？我在控制台中看不到重新启动服务器的选项。

Answer 1

重新启动 Composer 服务器的一种方法是将“虚拟变量”添加到 GCP Composer UI 的“环境变量”中。提交后，它将重新启动以包含此更改。

Answer 2

编辑：仅适用于 Composer 版本 >= 1.13.1

重新启动 Airflow 最近已在此处作为预览功能引入。

TL;DR 命令是：

gcloud beta composer environments restart-web-server ENVIRONMENT_NAME
  --location=LOCATION

Answer 3

由于 Cloud Composer 是 Apache Airflow托管服务，因此无法重新启动整个服务。您可以重新启动服务的单个实例，如此处所述，但这无助于应用插件更改。

要应用插件更改，您应该在将插件加载到文件夹后安装插件plugin，该文件夹在您创建环境时自动创建：

gcloud composer environments storage plugins import --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

DAG 更新是自动执行的，其他一些必须使用

gcloud composer environments update

命令。