在 Airflow DataprocClusterCreateOperator 设置中：
我们是否有机会将 master 和 worker 的 Primary 磁盘类型设置为pd-ssd？
默认设置是standard。
我正在查看文档 - 我没有找到任何参数。
问问题
461 次
2 回答
2
不幸的是，没有选项可以更改DataprocClusterCreateOperator.
在 Google API 中，如果您将参数传递给https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.clusters#diskconfig
我将尝试添加此功能，并且应该在Airflow 1.10.1或Airflow 2.0中可用。
现在，您可以创建一个 Airflow 插件来修改当前的DataprocClusterCreateOperator.
于 2018-08-30T08:56:33.007 回答
0
这方面似乎有两个领域：
master_machine_type: Compute engine machine type to use for the master node
worker_machine_type: Compute engine machine type to use for the worker nodes
我发现这只是在这里查看源代码（这是最新的，但没有提供版本，所以我假设是最新版本）：
https://airflow.readthedocs.io/en/latest/_modules/airflow/contrib/operators/dataproc_operator.html
于 2018-08-30T07:54:19.987 回答