apache-spark - 为什么 Spark 检测到 8 个内核，而我只有 4 个内核？

Question

我在一台机器上设置了一个 Apache Spark 1.6.1 独立集群，具有以下规格：

• CPU：Core i7-4790（核心数：4，线程数：8）
• 内存：16GB

我没有设置任何内容，因此 Spark 可以采用默认值，对于核心来说，它是“所有可用核心”，基于此，问题是：

为什么 Spark 检测到 8 个内核，而我只有 4 个内核？

Answer 1

我假设该设置all available cores意味着 Spark 也在使用Virtual cores

由于您的 CPU 确实支持超线程，因此它有 8 个可用的虚拟内核。

如果您只想使用物理内核，我假设有一个特定的设置。