r - 如何从 RStudio 初始化 YARN 上的新 Spark 上下文和执行程序编号

Question

我正在与SparkR.

我可以在 YARN 上设置 Spark Context，并使用所需的数量executors和executor-cores这样的命令：

spark/bin/sparkR --master yarn-client --num-executors 5 --executor-cores 5

现在我正在尝试初始化一个新的 Spark 上下文，但是来自 RStudio，它比常规命令行更易于使用。

我发现要做到这一点，我需要使用sparkR.init()函数。master我设置了一个选项，yarn-client但如何指定num-executors或executor-cores？这是我堆叠的地方

library(SparkR, lib.loc = "spark-1.5.0-bin-hadoop2.4/R/lib")

sc <- sparkR.init(sparkHome = "spark-1.5.0-bin-hadoop2.4/",
                  master = "yarn-client")

Answer 1

为应该工作提供sparkEnvir论据：sparkR.init

sparkEnvir <- list(spark.num.executors='5', spark.executor.cores='5')

sc <- sparkR.init(
    sparkHome = "spark-1.5.0-bin-hadoop2.4/", 
    master = "yarn-client",
    sparkEnvir = sparkEnvir)