2

我想知道如何设置 PySpark 程序中使用的核心数。

我一直在做一些搜索，但无法找到明确的答案。

4

2 回答 2

2

您可以使用 --executor-cores 和 spark-submit 设置它，或者在它自己的代码中使用 sc.setExecutorEnv(key=None, value=None,pairs=None) 设置它。

于 2015-03-17T17:18:01.387 回答
1

您可以使用--executor-cores属性来指定使用 spark-submit 提交应用程序时要使用的核心数。

下面是一个例子：

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn-cluster \
    --num-executors 3 \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1
    lib/spark-examples*.jar \
    10
于 2015-03-16T17:47:30.063 回答