我创建了一个由 8 台机器组成的 Spark 集群。每台机器有 104 GB 的 RAM 和 16 个虚拟内核。
我似乎 Spark 每台机器只能看到 42 GB 的 RAM，这是不正确的。你知道为什么 Spark 看不到机器的所有 RAM 吗？
PS：我使用的是 Apache Spark 1.2
问问题
91 次
2 回答
2
似乎是一个普遍的误解。显示的是 spark.storage.memoryFraction ： https://stackoverflow.com/a/28363743/4278362
于 2015-02-11T00:04:06.133 回答
0
Spark 不会尝试猜测可用内存。执行程序使用的内存与您在spark.executor.memory设置中指定的一样多。看起来它设置为 42 GB。
于 2015-02-10T20:52:00.517 回答