我创建了一个由 8 台机器组成的 Spark 集群。每台机器有 104 GB 的 RAM 和 16 个虚拟内核。
我似乎 Spark 每台机器只能看到 42 GB 的 RAM,这是不正确的。你知道为什么 Spark 看不到机器的所有 RAM 吗?
PS:我使用的是 Apache Spark 1.2
我创建了一个由 8 台机器组成的 Spark 集群。每台机器有 104 GB 的 RAM 和 16 个虚拟内核。
我似乎 Spark 每台机器只能看到 42 GB 的 RAM,这是不正确的。你知道为什么 Spark 看不到机器的所有 RAM 吗?
PS:我使用的是 Apache Spark 1.2
似乎是一个普遍的误解。显示的是 spark.storage.memoryFraction : https://stackoverflow.com/a/28363743/4278362
Spark 不会尝试猜测可用内存。执行程序使用的内存与您在spark.executor.memory
设置中指定的一样多。看起来它设置为 42 GB。