2

我知道如果我使用的是 sparkR 命令外壳,我可以将其限制为一个执行器核心,如下所示:

bin/sparkR --total-executor-cores 1

在 RStudio 中,我可以像这样成功连接到我的集群:

sc <- sparkR.init(master="spark://<master url>")

我想我可以在那里传递一些神奇的参数来设置核心数量,但我不确定如何。https://spark.apache.org/docs/latest/api/R/sparkR.init.html没有多大帮助,但它让我明白了这一点:

sc <- sparkR.init("spark://<master url", "RStudio", "/spark/dir", list(total.executor.cores="1"))

和/或

sc <- sparkR.init("spark://<master url", "RStudio", "/spark/dir", list(), list(total.executor.cores="1"))

这些成功连接但不限制核心。不确定我的魔法属性名称是否错误或其他?

4

0 回答 0