amazon-web-services - 如何在同一个 AWS EMR 集群中同时运行 Spark 作业？

Question

是否可以在同一个 AWS EMR 集群中同时提交和运行 Spark 作业？如果是，那么您能详细说明一下吗？

Answer 1

--deploy-mode cluster您应该使用允许您将多个执行部署到集群的标签。这将使纱线为您处理资源和队列。

完整的例子：

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \  # can be client for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

更多细节在这里。

Answer 2

目前，EMR 不支持并行运行多个步骤。据我所知，此类实验性功能已经实现，但由于某些问题尚未发布。