apache-spark - 我正在使用IDEA开发Spark Demo，本地模式下如何设置spark内存大小的参数？

Question

我在本地模式下运行 geoSpark Demo，而不是独立模式。数据大小约为 5GB。我收到 OOM 错误。我想在本地模式下更改 spark 内存，怎么做？

score 0 · Accepted Answer

0

conf=SparkConf()
conf.set("spark.executor.memory", "1g")

于 2020-06-10T11:41:10.493 回答

1 回答 1