问题标签 [google-cloud-composer]

我用 BashOperator 实现了一些任务。带有“gsutil rm”和“gsutil cp”的效果很好。但是带有“gcloud alpha firestore export”的会生成此错误：

该命令本身在 gcloud shell 中运行良好。我试图为 Composer 使用的服务帐户提供一些与 Firestore 相关的权限，但它仍然不起作用。任何的想法

我已将一个简单的 json文件导入数据文件夹。在 json 中加载、解析和使用参数的最佳方式是什么？

在发布这个问题之前我已经尝试了很多，我不反对投票，至少让我知道你为什么要投票。

我已经构建了一个 Airflow 插件来从 Cloud Composer Airflow 环境中获取数据，并且从浏览器访问 Cloud Composer 效果很好，因为它需要用户在访问任何 Airflow 端点之前登录。

在我的用例中，我需要通过代码触发端点。有没有办法可以做到这一点。

下面是正在使用的 Airflow-Flask 插件

通过以下方式导入运算符：

然后尝试在 DAG 中使用它：

收到此错误：

未定义“GoogleCloudStorageDownloadOperator”

编辑：我使用的是 Google Cloud Composer，所以我假设安装了相关的依赖项。

文档说明该参数source_objects采用模板值。但是，当我尝试以下操作时：

我收到错误消息： Exception: BigQuery job failed. Final error was: {u'reason': u'notFound', u'message': u'Not found: URI gs://gdbm-public/entity/{ ds_nodash }.0.GeoLocation.json'}.

我找到了一个以相同方式使用变量的示例。{{ ds_nodash }}所以我不确定为什么这对我不起作用。

我有一个工作的 Dataflow 管道，第一次运行setup.py以安装一些本地帮助模块。我现在想使用 Cloud Composer/Apache Airflow 来安排管道。我已经创建了我的 DAG 文件，并将它与我的管道项目一起放置在指定的 Google Storage DAG 文件夹中。文件夹结构如下所示：

我的 DAG 中指定 setup.py 文件的部分如下所示：

但是，当我查看 Airflow Web UI 中的日志时，我收到错误消息：

我不确定为什么它无法找到安装文件。如何使用设置文件/模块运行我的 Dataflow 管道？

我正在尝试创建一个默认的 Cloud Composer 环境，但 50 分钟后我总是得到：

我曾多次尝试清理所有 IAM、存储、禁用和启用 Cloud Storage API，但仍然出现同样的错误。我无法从其他项目中创建作曲家环境。

想法非常感谢。

我正在使用 Google dataproc 提交 Spark 作业并使用 Google Cloud Composer 来安排它们。不幸的是，我面临着困难。

我依靠.conf文件（类型安全配置文件）将参数传递给我的 spark 作业。

我正在为气流数据处理使用以下 python 代码：

但这不起作用，我遇到了一些错误。

谁能帮我解决这个问题？
基本上我希望能够覆盖.conf文件并将它们作为参数传递给我的DataProcSparkOperator.
我也尝试过

但这没有考虑.conf参数中提到的文件。

问题：

我有一个托管的 Cloud Composer 环境，位于 1.9.7-gke.6 Kubernetes 集群主机下。我尝试将它（以及默认池节点）升级到 1.10.7-gke.1，因为可以升级。

从那以后，Airflow 一直在随机应变。正常工作的任务无缘无故地失败了。这使得 Airflow 无法使用，因为调度变得不可靠。以下是每 15 分钟运行一次的任务示例，升级后该任务的行为非常明显： airflow_tree_view

悬停在失败的任务上时，它只显示一条Operator: null消息（null_operator）。此外，该任务根本没有日志。

我已经能够在另一个 Composer 环境中重现这种情况，以确保升级是导致功能障碍的原因。

到目前为止我所尝试的：

我认为升级可能搞砸了调度程序或 Celery（Cloud composer 默认为 CeleryExecutor）。

我尝试使用以下命令重新启动调度程序：

我还尝试从工人内部重新启动芹菜，

芹菜重新启动，但它不能解决问题。因此，我尝试以与使用气流调度程序相同的方式重新启动气流。

这些都没有解决问题。

旁注，按照本教程（Google Cloud - 连接到 Flower）时，我无法访问 Flower 来监控 Celery。连接到 localhost:5555 永远处于“等待”状态。不知道有没有关系。

如果我遗漏了什么，请告诉我！

由于 Google Cloud Composer 使用 Cloud Storage 来存储 Apache Airflow DAG。但是，运算符存储在哪里？我收到如下错误：

损坏的 DAG：[/home/airflow/gcs/dags/example_pubsub_flow.py] 无法导入名称 PubSubSubscriptionCreateOperator。