问题标签 [google-cloud-composer]

我正在使用Cloud Composer，我注意到它为我选择了Apache Airflow和 Python (2.7.x) 的版本。我想使用不同版本的 Airflow 和/或 Python。我怎样才能改变这个？

我想通过Cloud Composer 接收电子邮件通知，但我不确定如何做到这一点。如何配置 Composer 环境以发送电子邮件通知？

我们有哪些方法可以从新推出的 Google Cloud Composer 连接到 Google Cloud SQL (MySQL) 实例？目的是将数据从 Cloud SQL 实例获取到 BigQuery（可能通过 Cloud Storage 进行中间步骤）。

1. Cloud SQL 代理能否以某种方式暴露在 Kubernetes 集群托管 Composer 的 pod 上？

2. 如果不能，可以使用 Kubernetes Service Broker 引入 Cloud SQL Proxy 吗？-> https://cloud.google.com/kubernetes-engine/docs/concepts/add-on/service-broker

3. 是否应该使用 Airflow 来调度和调用 GCP API 命令，例如 1) 将 mysql 表导出到云存储 2) 将 mysql 导出读入 bigquery？

4. 也许我还缺少其他方法来完成这项工作

我尝试在 Google Cloud Composer 环境中运行气流测试 cli，但它不起作用。

基本上，我想airflow test在气流环境中运行测试任务。我在这里按照说明操作：https ://cloud.google.com/composer/docs/how-to/accessing/airflow-cli

这是我运行的命令：

输出：

ERROR: (gcloud.beta.composer.environments.run) unrecognized arguments:

我的 BigQuery 连接器都在运行，但是我希望在 Cloud Composer 而不是 App Engine Flexible 上安排一些现有的 Docker 容器中的脚本。

我有以下脚本，似乎遵循我能找到的示例：

...但是在尝试运行时，它会在 Web UI 中告诉我：

Docker 是否未配置为在 Cloud Composer 运行的 Kubernetes 集群内工作？还是我只是在语法中遗漏了什么？

为了让 JDBC Hook 正常工作，我首先在 Composer 的 PYPI 包页面中添加了 jaydebeapi 包。

但是，仅此一项并不允许 JDBC 连接工作：

1) 如何为我拥有的 JDBC 驱动程序指定 .jar 驱动程序路径？我在想它会像“/home/airflow/gcs/drivers/xxx.jar”（假设我在gcs目录中创建了一个驱动程序文件夹）......但我无法验证或找到关于此的文档。

2）我如何安装/指向Java JRE？在 Ubuntu 上，我运行以下命令来安装 JRE：sudo apt-get install default-jre libc6-i386。Cloud Composer 中是否提供 JRE 或安装 JRE 的功能？这是我在带有 JDBC 连接的 Adhoc 窗口中收到的当前错误消息：[Errno 2] No such file or directory: '/usr/lib/jvm'

如果上述任一选项当前不可用，是否有任何变通方法可以让 JDBC 连接与 Composer 一起使用？

我有一些与文件相关的用例，我不确定如何使用 Cloud Composer 最好地完成这些用例。我应该如何最好地完成这些？

1）我需要使用私钥（.pem）文件来访问 SFTP 服务器。该文件应存储在何处以及应如何访问？在本地 Airflow 中，我只需将文件放在与 /dags/ 相同目录中的文件夹 /keys/ 中。

2）我需要将文件从 SFTP 服务器移动到云存储。使用 Airflow on prem，我将这些从 SFTP 服务器下载到 Airflow 工作实例上的特定位置，然后从那里上传。我是否可以使用 Composer 做类似的事情，或者是否有解决方法，因为我无法访问文件系统？

Airflow 允许您将 dags 依赖的依赖项（外部 python 代码到 dag 代码）放在 dag 文件夹中。这意味着这些外部 python 代码中的任何组件/成员或类都可用于 dag 代码。

但是，在执行此操作时（在云编写环境的 GCS dag 文件夹中），依赖项的组件对 dag 不可用。Airflow Web UI 中显示类似于以下内容的错误：Broken DAG: [/home/airflow/gcs/dags/....py] No module named tester. 其中 tester 是 dags 文件夹中的一个单独的 python 文件。

当使用 Google 的 SDK（运行实际的 Airflow 命令）测试这些任务时，这些任务运行良好，但似乎在 Kubernetes 的某个地方创建了这些容器作业，它似乎也没有接管依赖项。

我意识到 Cloud Compose 处于测试阶段，但我想知道我是否做错了什么。

我想自动部署在某个存储库中编写的 DAG。

为此，我使用了 gcloud 工具，这只是根据文档导入 DAG 和插件。

现在的问题是，当更改 DAG 的结构时，不可能让它在 Web 界面中正确加载/运行。当我在本地使用气流时，我只需重新启动网络服务器，一切都很好，但是使用 Cloud Composer 我无法找到如何重新启动网络服务器。

如何启动计算实例并在其上部署容器？我可以看到有一个 python 运算符，但据我了解，它将在 Airflow 工作人员的预制容器中运行脚本，而不是在外部实例上运行脚本。