apache-spark - Spark Standalone --total-executor-cores

Question

我使用 Spark 2.1.1 独立集群，

虽然我的集群中有 29个空闲Cores in use: 80 Total, 51 Used核心（--total-executor-cores 16

我错过了什么？（删除检查点没有帮助）

这是我的 spark-submit 命令：

PYSPARK_PYTHON="/usr/bin/python3.4" 
PYSPARK_DRIVER_PYTHON="/usr/bin/python3.4" \
/opt/spark/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \
--master spark://XXXX.XXXX:7077  \
--conf "spark.sql.shuffle.partitions=2001" \
--conf "spark.port.maxRetries=200" \
--conf "spark.executorEnv.PYTHONHASHSEED=0" \
--executor-memory 24G \
--total-executor-cores 16 \
--driver-memory 8G \
/home/XXXX/XXXX.py \
--spark_master "spark://XXXX.XXXX:7077" \
--topic "XXXX" \
--broker_list "XXXX" \
--hdfs_prefix "hdfs://XXXX"

Answer 1

我的问题是我从 spark --executor-memory 24G（

当内存减少到 8G 时，spark 找到了指定的核心数。