apache-spark - 为什么 spark executor cores 不等于 spark web UI 中的活动任务？

Question

我正在使用 Spark 2.3 thrift 服务器进行 Ad-hoc Sql 查询。我的 spark 参数在 spark-defaults.conf 文件中设置如下：

spark.executor.memory 24G
spark.executor.cores 40
spark.executor.instances 3

但是，当我检查 spark web ui 时，spark 核心与活动任务不相等，如图所示：

活动任务的数量怎么会比分配的核心大？有任何想法吗？谢谢！

Answer 1

我见过同样的事情。我不是 100% 确定，但我相信这是执行程序上的任务线程池和指标报告代码之间的竞争条件。

如果单击线程转储，您将看到正确的线程数。但是，如果尝试 50 次（运气好的话），您会看到一个额外的任务线程正处于 TIMED_WAITING 状态。