7

鉴于 GCP Cloud Composer 与 GKE/GCE 一起运行，它是自动缩放吗？

现在我在集群中有 3 个节点来支持 100 个 DAG。

稍后，如果我有大约 300 个 DAG，它会自行扩展（与芹菜工人一起）吗？

4

4 回答 4

5

我刚刚发表了一篇文章，展示了如何在其底层 kubernetes https://link.medium.com/AMUlwUIkD0中启用自动缩放。

基本上：

  1. 在节点级别启用自动缩放

  2. 将 Horizo​​ntalPodAutoscaler 应用于气流工作者部署

  3. 增加一些气流配置参数以消除瓶颈

这已经在 composer-1.7.2 和 composer-1.7.5 中进行了测试，但也可能适用于其他版本

请检查一下

于 2019-10-09T02:05:09.703 回答
5

我们目前不支持自动缩放，但它在我们的路线图中。但是，您可以通过更新nodeCount值手动扩大/缩小 GKE 集群。

于 2018-12-05T00:24:57.380 回答
1

目前没有自动缩放，但我希望它在路线图中。

Astronomer 正在使用 Kubernetes 开发自动缩放 Airflow 服务，它可能会在 Google Composer 启动自动缩放时推出……所以好时机即将到来:)

于 2018-05-30T17:50:38.997 回答
0

自主要版本 2 起，Cloud Composer 带来了对Environment Scaling的原生支持：

gcloud beta composer composer environments update <ENVIRONMENT_NAME> \
--location <LOCATION> \
--min-workers <WORKERS_MIN> \
--max-workers <WORKERS_MAX>

请参阅缩放环境

于 2021-12-22T10:11:21.287 回答