1

如何为云作曲家集群启动云代理

目前我们使用气流来管理作业和动态 DAG 创建。为此，编写了一个单独的 Dag 来检查 PostgreSQL 中的数据库表中的现有规则，如果规则在 PostgreSQL 中处于活动/非活动状态，我们手动设置为关闭/打开 Airflow 中的动态 DAG。现在，我们将使用 Google 的 self托管的 Cloud Composer，但问题是我们无权访问 Cloud Composer 的数据库。我们如何使用云 sql 代理来解决这个问题？

4

1 回答 1

4

Cloud Composer 数据库实际上已经可以访问，因为在环境附加的 GKE 集群中运行了一个 Cloud SQL 代理。您可以使用它的服务名称airflow-sqlproxy-service从集群内连接到它，使用root. 例如，在 Composer 1.6.0 上，如果您拥有 Kubernetes 集群凭据，则可以列出正在运行的 pod：

$ kubectl get po --all-namespaces
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-database-init-job-kprd5                                  0/1     Completed   0          1d
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-scheduler-78d889459b-254fm                               2/2     Running     18         1d
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-worker-569bc59df5-x6jhl                                  2/2     Running     5          1d
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-worker-569bc59df5-xxqk7                                  2/2     Running     5          1d
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-worker-569bc59df5-z5lnj                                  2/2     Running     5          1d
default                                 airflow-redis-0                                                  1/1     Running     0          1d
default                                 airflow-sqlproxy-668fdf6c4-vxbbt                                 1/1     Running     0          1d
default                                 composer-agent-6f89fdb7-0a7a-41b6-8d98-2dbe9f20d7ed-j9d4p        0/1     Completed   0          1d
default                                 composer-fluentd-daemon-g9mgg                                    1/1     Running     326        1d
default                                 composer-fluentd-daemon-qgln5                                    1/1     Running     325        1d
default                                 composer-fluentd-daemon-wq5z5                                    1/1     Running     326        1d

您可以看到其中一个工作 pod 已命名airflow-worker-569bc59df5-x6jhl，并且正在命名空间中运行composer-1-6-0-airflow-1-9-0-6f89fdb7。如果我 SSH 到其中一个并运行 MySQL CLI，我可以访问数据库：

$ kubectl exec \
    -it airflow-worker-569bc59df5-x6jhl \
    --namespace=composer-1-6-0-airflow-1-9-0-6f89fdb7 -- \
      mysql \
        -u root \
        -h airflow-sqlproxy-service.default

Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 27147
Server version: 5.7.14-google-log (Google)

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

TL;DR 对于 DAG 中运行的任何内容，root@airflow-sqlproxy-service.default无需密码即可连接。这将通过已在 Composer 环境中运行的 Cloud SQL 代理连接到 Airflow 元数据数据库。

如果您需要连接到不是在 Cloud SQL 中运行的 Airflow 数据库的数据库，那么您可以通过将新的代理 pod 部署到 GKE 中来启动另一个代理（就像您将其他任何东西部署到 Kubernetes 集群中一样）。

于 2019-04-03T20:18:23.607 回答