memory - 如何从 iPython 接口中找出 pyspark 的内存量？

Question

我用命令启动

IPYTHON=1 MASTER=local[4] pyspark

Spark向我打招呼

Welcome to spark, version 1.2.1
SparkContext availabel as sc. 

但是使用 sc，我无法找到它拥有的内存。如何找出这一点，如果可能的话，如何将其设置为另一个值。

Answer 1

您可以像这样查询 SparkContext 的配置：

sc._conf.get('spark.executor.memory')

或者，如果您对驱动程序的记忆感兴趣：

sc._conf.get('spark.driver.memory')

完整的配置可以通过以下方式查看为元组列表

sc._conf.getAll()