问题标签 [google-cloud-composer]

我在谷歌作曲家（气流）中有一个 DAG 可以导入：

从气流.contrib.sensors.gcs_sensor 导入 GoogleCloudStorageObjectSensor

当我运行 DAG 时，出现此错误：

“ImportError：没有名为 sensors.base_sensor_operator 的模块”

基本上我想在做其他事情之前检查一个文件是否存在于存储桶中。

这是完整的python代码：

嗨，我是 Google Cloud Platform 和 Cloud Composer 的新手。

我想使用代码创建 Cloud Composer 环境。但在此之前，我有以下问题：

1. 有没有办法使用它的 Rest Api 创建 Cloud Composer 环境？
2. 使用 Try Api for Google Cloud Composer 创建环境不起作用，为什么会这样？
3. Cloud Composer 是否有任何节点包，例如@google-cloud/composer，就像我们对其他人一样，例如@google-cloud/dataproc？

请帮助我更好地理解它。

我找不到云 ML 引擎 + 气流的教程，请有人帮助部署云 ML 引擎模型并与气流协调，以每小时使用新数据运行训练

使用 Google Cloud Composer 时如何监控 Airflow 网络服务器？如果 Web 服务器因错误而关闭或崩溃，我希望收到警报。

在 Airflow DataprocClusterCreateOperator 设置中：

我们是否有机会将 master 和 worker 的 Primary 磁盘类型设置为pd-ssd？

默认设置是standard。

我正在查看文档 - 我没有找到任何参数。

我是 Google Cloud Composer 的新手，在我创建的 DAG 中遇到了一个似乎很奇怪的问题。我有一个从云存储中获取 tar.gz 文件的过程，将其重新压缩为 .gz 文件，然后将 .gz 文件加载到 BigQuery。昨天，我尝试在该过程中添加一个新步骤，即从创建的“分片”插入新表。

在我更改 DAG 执行中的步骤顺序之前，我无法让它工作。在我的 DAG 中，我有一个名为“delete_tar_gz_files_op”的步骤。当它在“insert_daily_file_into_nli_table_op”之前执行时，插入从未运行（在 Composer 中没有失败，只是似乎根本没有运行）。当我交换这两个步骤的顺序而不对代码进行其他更改时，插入按预期工作。有谁知道这可能是什么原因？我不知道为什么会发生这种情况，因为这两个步骤根本不相关。一个从一个大查询表到另一个执行插入查询。另一个删除云存储中的 tar.gz 文件。

我的 dag 执行顺序目前有效：

使用的一些代码：

手动运行状态： 运行状态

我想从 Google Cloud Composer 环境中的 dag 执行 R 脚本。如何在 Composer 中安装 R 并运行 R 脚本？

尝试在 Cloud Composer 上同时完成一些任务：

收到以下错误：

损坏的 DAG：[/home/airflow/gcs/dags/scale_simple.py] 依赖，create_training_instance 已经注册

我可以在云作曲家中将单个文件作为数据流作业运行，但是当我将它作为包运行时它会失败。

我收到此错误：

这是 dag 配置：

我尝试将 run.py 放入 dags 文件夹，但仍然出现相同的错误。任何形式的建议都会非常有帮助。

也尝试过这样做： from pipeline_jobs .data_pipeline.tasks import task 但仍然是同样的问题。

访问 Composer 实例 GCS 存储桶的根文件夹或任何其他气流文件夹（如 /data）以保存简单 DAG 的任务输出文件的正确方法是什么：

是否设置了一些环境变量或者我应该使用 GCS 挂钩？