问题标签 [google-cloud-composer]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

885 问题

0 投票

1 回答

1248 浏览

python-2.7 - How can I set a timeout on Dataflow?

I am using Composer to run my Dataflow pipeline on a schedule. If the job is taking over a certain amount of time, I want it to be killed. Is there a way to do this programmatically either as a pipeline option or a DAG parameter?

0 投票

3 回答

2475 浏览

google-cloud-platform - Google Cloud Composer 变量不会传播到 Airflow

我正在尝试在Google Cloud Composer 文档中运行该示例，但我发现了问题，主要是两个：

通过 gcloud 命令行或 Web 界面创建的环境变量不会传播到 Airflow 层，从而导致 DAG 无法抱怨“变量 gcs_bucket 不存在”。如果我从 Airflow UI 添加变量，那么它可以工作。
DAG 已正确执行，但在任何阶段我都看不到在 Airflow 中看到的链接组（树、图、...）。即使在执行成功完成之后。

我已经检查了服务帐户（默认情况下使用环境创建）有权编辑和更新变量（编辑角色）也可以通过 API 访问。

我发现文档不是最新的，例如创建我需要使用的变量：

而不是文章所说的。

我还要检查什么？自文档编写以来还有哪些变化？

编辑：这里描述了一个相关问题，似乎解决了第二个问题。

编辑：有趣的是，如果我运行这个免费实验室，第二个问题就不会发生。第一个还在。我正在比较一个和另一个中的角色，从与自动创建的作曲家项目无关的开始。并且没有以替代解决方案的格式创建服务帐户。

我将感谢任何人可以提供的任何帮助。

google-cloud-platform airflow google-cloud-composer

0 投票

1 回答

645 浏览

google-cloud-platform - 我们可以在通过 Google BigQuery 运行的查询上实现数据沿袭吗？

谁能帮我提供一些关于我们如何在基于 Google BigQuery 构建的 DW 类型解决方案上实现数据沿袭的指示，使用 Google Cloud 存储作为源，Google Cloud Composer 作为工作流管理器来实现一系列 SQL？

google-cloud-platform google-bigquery airflow google-cloud-composer

0 投票

1 回答

846 浏览

google-cloud-composer - 我们如何升级 Composer 环境的 Cloud Composer 版本？

我们有一个 Cloud Composer 环境，运行我们想要升级的不再是当前版本的 Cloud Composer。我没有找到关于如何做到这一点的文档。有没有人有关于如何在不创建新环境和丢失运行历史记录的情况下升级的建议？

google-cloud-composer

0 投票

1 回答

1197 浏览

github - 是否可以在 Google Cloud Composer 上安装 github 存储库

作为标题，我们可以在requirements.txt文件中设置 pypi 包并使用命令

更新云作曲家环境。

但是它是否支持在 requirements.txt 中安装自定义 github repo？我尝试添加如下链接：

它不起作用。

谢谢！

更新： 我有一个解决方法是将库放入插件中。但在我们的案例中，我认为最好的策略是从 github 安装一个包。

github google-cloud-platform airflow google-cloud-composer

0 投票

1 回答

1397 浏览

google-cloud-dataflow - 使用 Cloud Composer 启动 CloudDataFlow Java 应用程序时出错

我是 GCP 新手，在尝试使用 GCP Cloud Composers DataflowJavaOperator为BeamTutorial运行云数据流应用程序时遇到错误。气流拾取管道，但因以下错误而失败。

此 BeamTutorial-0.0.1-SNAPSHOT.jar 不是胖 jar，当手动从 gcp 云 shell 手动提交时，它在 Dataflow 中成功运行作业，如下所示

感谢您在修复此错误方面的任何帮助。谢谢你。

google-cloud-dataflow google-cloud-composer

0 投票

1 回答

394 浏览

airflow - Apache Airflow 中的分布式日志记录

我们正在使用Cloud Composer（GCP 中的托管气流）来编排我们的任务。我们正在将所有日志移至相扑逻辑（我们组织中的标准流程）。我们的要求是跟踪 DAG 单次执行的整个日志，目前似乎没有办法跟踪。

目前，DAG 中的第一个任务会生成一个唯一的 ID，并通过xcom将其传递给其他任务。这里的问题是我们无法在Airflow 操作员日志（如 BigQueryOperator）中注入唯一 ID。

有没有其他方法可以在 Airflow 操作员日志中注入自定义唯一 ID？

airflow google-cloud-composer

0 投票

2 回答

1824 浏览

airflow - 是否可以在特定时间关闭托管 google-cloud-composer 的虚拟机？

为了减少与运行 google-cloud-composer 相关的费用，我想知道是否有可能在特定时间关闭运行虚拟环境的 VM 实例。例如：我们的大多数 DAG 都在早上或下午运行，因此我们希望在夜间关闭 VM，如果可能的话甚至在中午关闭。我知道我们可以从谷歌云控制台手动禁用环境，但是找到一种自动执行此操作的方法会很棒

谢谢！

airflow google-cloud-composer

0 投票

1 回答

756 浏览