问题标签 [google-cloud-composer]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

885 问题

0 投票

1 回答

296 浏览

google-cloud-platform - 具有区域 kubernetes 集群的 Google Cloud Composer

我正在计划一个 DR 计划，以防 GCP 中出现区域故障。

目前，Composer 在单个区域中运行。有没有办法让它的 Kubernetes 集群区域化？

google-cloud-platform google-cloud-composer

0 投票

1 回答

50 浏览

google-cloud-composer - Cloud Composer - 获取谷歌用户

有没有办法从 DAG 定义中获取运行 DAG 的 google 帐户名称？这对于跟踪哪些用户正在运行 DAG 非常有帮助。

我只看到：

问候爱德华多

google-cloud-composer

0 投票

1 回答

184 浏览

google-cloud-platform - 在 google composer 中安装 hadoopy

我正在使用google composer.

我们如何在.google composer environment

这个页面有在 Linux 机器上安装hadoopy 的步骤

Github 克隆

画中画安装

我不知道如何在 Google Composer 环境中安装它

google-cloud-platform airflow google-cloud-composer hadoopy

0 投票

1 回答

65 浏览

google-cloud-platform - Cloud Composer 中的速率受限 API 请求

我正在计划一个项目，我将使用（速率受限的）Reddit API 并将数据存储在 GCS 和 BigQuery 中。最初，Cloud Functions 将是选择，但我必须创建一个 Datastore 实现来管理“伪”请求队列和 cron 作业的 GAE。

在 Dataflow 中做所有事情是没有意义的，因为不建议发出外部请求（即点击 Reddit API）并永久运行单个作业。

我可以使用 Cloud Composer 从 Google 表格中读取字段，然后根据 Google 表格创建一个请求队列，然后让一个任务队列执行这些请求，将它们存储在 GCS 中并加载到 BigQuery 中吗？

google-cloud-platform google-cloud-datastore google-cloud-dataflow google-cloud-composer

0 投票

2 回答

2969 浏览

airflow - Airflow/Composer 推荐的文件夹结构

你们对 Composer 文件夹/目录结构有什么推荐吗？它的结构方式与我们内部 Airflow 服务器现在使用的方式不同。

基于谷歌文档：https ://cloud.google.com/composer/docs/concepts/cloud-storage ：

plugins/: 存储你的自定义插件、操作符、钩子
dags/：存储 dag 和 Web 服务器解析 dag 所需的任何数据。
data/：存储任务产生和使用的数据。

这是我如何组织 dags 文件夹的示例：

之前我将 key.json 文件放入文件data/夹时遇到了麻烦，并且无法使用data/文件夹中的键解析 dags。所以现在我倾向于将所有支持文件放在dags/文件夹中。

如果我将 dag 支持的文件（sql、keys、schema）放在dags/文件夹中，调度程序的性能会受到影响吗？是否有使用该文件夹的好用例data/？

如果你们可以向我展示如何构建 composer 文件夹以支持具有不同 dag、插件和支持的文件的多个项目的示例，将会很有帮助。

现在，我们只有 1 个 Github 用于整个 Airflow 文件夹。每个项目有一个单独的 git 会更好吗？

谢谢！

airflow google-cloud-composer

0 投票

1 回答

1208 浏览

airflow - Google Composer Web UI 中的内部服务器错误 [错误代码 28]

我们正在使用 Google Composer 进行工作流程编排，我们An internal server error occurred while authorizing your request. Error code 28在打开 Web UI 时随机收到消息。我们不知道这个问题的原因。如何解决这个问题？