google-cloud-platform - 我是否有可能在 GCP（谷歌云平台）中使用 dataproc 工作节点为自动扩展设置完全自定义的指标

Question

我是否可以在 GCP（谷歌云平台）中使用 dataproc 工作节点为自动横向扩展设置完全自定义的指标？

我想在 GCP 中通过 dataproc 运行 Spark 分发处理。但问题是，我只想根据完全定制的指标数据水平扩展工作节点。我对此感到好奇的原因是可以预测预期要处理的未来数据。

now / now+1 / now+2 / now+3
1GB / 2GB / 1GB / 3GB <=== 预期数据量（公制）

那么我可以根据未来的预期数据量预测横向扩展/缩减吗？提前致谢。

Answer 1

不，目前 Dataproc 仅根据 YARN 内存指标自动扩缩集群。

您需要以在处理更多数据时请求更多 Spark 执行程序（并因此导致 YARN 内存）的方式编写 Spark 作业，通常这意味着当数据大小增加时您需要更多地拆分和分区数据。