问题标签 [google-cloud-composer]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-cloud-composer - Cloud Composer 是否具有故障转移功能？
我已阅读 Cloud Composer 概述 ( https://cloud.google.com/composer/ ) 和文档 ( https://cloud.google.com/composer/docs/ )。
它似乎没有提到故障转移。
我猜是这样，因为它运行在 Kubernetes 集群上。可以？
故障转移是指如果气流网络服务器或调度程序由于某种原因停止，它会再次自动启动吗？
docker - Google Cloud Composer - 部署 Docker 映像
肯定缺少一些东西，并且可以使用一些快速帮助！
简而言之，如何将 Docker 映像部署到 Airflow DAG 以运行作业？有没有人有一个部署 Google 容器并通过 Airflow/Composer 运行它的简单示例？
google-cloud-platform - 在哪里保存 Google Cloud Composer 连接设置的服务帐户密钥文件？
我正在尝试使用服务帐户密钥在 Google Cloud Composer 中设置 Google Cloud Platform 连接。所以我创建了一个 GCS 存储桶并将服务帐户密钥文件放入存储桶中。密钥存储在 JSON 中。在密钥文件路径字段中，我指定了 GCS 存储桶，在密钥文件 JSON 字段中，我指定了文件名。范围是https://www.googleapis.com/auth/cloud-platform。
尝试使用此连接启动 Dataproc 集群时，出现找不到 JSON 文件的错误。
查看错误消息，代码尝试使用以下方法解析文件：
with open(filename, 'r') as file_obj这显然不适用于 GCS 存储桶路径。
所以我的问题是，如果这个服务帐户密钥文件不能放在 GCS 路径中，我应该把它放在哪里？
terraform - 使用 Terraform 的 Google Cloud Composer
我是 Terraform 的新手，是否有任何直接的方法可以使用 Terraform 管理和创建 Google Cloud Composer 环境？
我检查了 GCP 支持的组件列表，似乎 Google Cloud Composer 目前不存在。作为一种解决方法，我正在考虑创建一个 shell 脚本，包括所需的 gcloud composer cli 命令并使用 Terraform 运行它，这是一种正确的方法吗？请提出替代方案。
google-cloud-platform - 无法在澳大利亚区域启动 Composer env：“INVALID_ARGUMENT：意外位置：australia-southeast1”
我正在尝试在澳大利亚地区创建我的 Composer 环境。但我不断收到以下错误：
“INVALID_ARGUMENT：意外位置：australia-southeast1”
使用以下命令：
在美国旋转它工作正常。
对 Composer 可以旋转的区域是否有限制，因为我在某处的文档中遗漏了这些区域？
python - 您可以获得 Google Cloud Composer / Airflow 的静态外部 IP 地址吗？
我知道如何将静态外部 IP 地址分配给计算引擎，但这可以通过 Google Cloud Composer (Airflow) 完成吗？我想大多数公司都需要这个功能，因为他们通常会写回可能位于防火墙后面的仓库，但我找不到任何关于如何做到这一点的文档。
airflow - 在 Google Cloud Composer 中使用 Airflow 模板文件和 template_searchpath
我BigQueryOperator在 Google Cloud Composer 上的 Airflow DAG 中广泛使用。
对于更长的查询，最好将每个查询放在它自己的.sql文件中，而不是用它弄乱 DAG。正如您在文档中看到的那样，Airflow 似乎支持所有 SQL 查询运算符，包括 BigQueryOperator 。
我的问题：在模板文件中编写了我的 sql 语句后.sql，如何将其添加到 Google Cloud Composer 并在 DAG 中引用它？
airflow - 从 Cloud Composer 运行 java Google Dataflow 作业
目前我们正在使用自己在 Kubernetes 上安装的 Airflow 版本，但我们的想法是在 Cloud Composer 上进行迁移。我们使用 Airflow 使用自定义版本的 DataFlowJavaOperator（使用插件）运行数据流作业，因为我们需要执行不是自包含在 jar 中的 java 应用程序。所以我们基本上运行一个启动命令的 bash 脚本：
所有 jar 依赖项都存储在所有工作人员之间的共享磁盘中，但 Composer 中缺少此功能，我们被迫使用 Cloud Storage 共享作业二进制文件。问题是使用 gcsfuse 从指向 GCS 的目录运行 java 程序非常慢。
您对在 Cloud Composer 中实现这种场景有什么建议吗？
谢谢
airflow - 启动和停止气流？
我正在测试气流谷歌作曲家，但现在我并不一直使用它，维护 3 VM 需要花钱。有没有办法停止/启动 google composer/airflow ？
是否可以以编程方式进行？（我想每天早上 9 点开始，每天晚上 9 点和周末停止）
现在为了停止大部分成本，我更改了 Kubernetes Engine 中的 VM 数量（我从 3 切换到 0 来停止它，然后切换到 0 到 3 来启动它）但也许有更好的方法。
docker - 如何在 kubernetes 上为谷歌云作曲家 apt-get 安装包
我正在使用 Cloud composer 来编排我的气流实例，但不确定如何为气流工作者 bash 安装软件包。
以前我使用 docker 在 google 计算引擎实例上运行气流，通过 docker make 文件很容易指定要求。
作为一个刚接触 kubernetes 和 Cloud composer 的人，我想知道是否可以为 kubernetes/Cloud composer 做一些类似的事情，就像我之前为 docker 做的那样？
我希望lzop为 unix 安装，并且还需要使用 s3 凭据更新 gsutil boto 配置文件。
如何将新的 docker 镜像拉入 Kubernetes 并为 pod 重新创建它？
对不起，如果我的术语不正确，这对我来说是新的