apache-spark - 如何在 EMR 中为任务节点添加自定义节点标签

Question

我只想在我的 AWS EMR 集群中的任务节点上运行我的 spark 执行器，而纱线标签是实现这一目标的方法之一。我可以在 spark-submit 期间指定标签。我想实现以下

1. 在集群启动期间添加自定义标签。
2. 在自动缩放期间将此标签与加入我的集群的任何节点相关联。

我想这样做，以便我可以通过确保所有执行程序都在现场实例上运行来降低集群的成本。

Answer 1

我们通过以下过程实现了它。

1. 在 Maser 节点启动期间，我们运行自定义脚本，在其中创建新的 TASK 标签。EMR 自动创建核心级别。
2. 在核心和任务节点启动期间，我们从元数据 API 中识别节点类型，并根据实例类型将适当的标签附加到机器上。如果它是按需实例，我们附加 CORE，否则我们将 TASK 标签添加到节点。
3. 当我们提交我们的 spark 作业时，我们将执行器节点标签表达式提到为 TASK，这确保仅对 TASK 节点上的所有执行器。