0

我目前正在使用托管在 databricks 集群外部的 Rstudio 服务器，并按照步骤配置 Databricks Connect。连接测试也成功了。但是当我使用下面的代码初始化一个火花会话时，它会抛出一个错误。

>>library(SparkR)
>>sparkR.session()

我什至尝试了下面的命令，但抛出了同样的错误：

SparkR::sparkR.session()

WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 将默认日志级别设置为“WARN”。要调整日志记录级别，请使用 sc.setLogLevel(newLevel)。对于 SparkR，使用 setLogLevel(newLevel)。if (len > 0) { 中的错误：参数长度为零

我想访问数据块上的 SQL 表或在 R 中编写一个 sql 查询，如下所示：

diamonds <- sql("select * from default.diamonds")

需要初始化火花会话。让我知道是否可以应用任何其他替代方案。

4

1 回答 1

0

我有一个类似的问题。我对我的代码进行了以下更改。

library(SparkR, lib.loc = "/usr/local/spark/R/lib")
sparkEnvir <- list(spark.num.executors='5', spark.executor.cores='5')
# initializing Spark context
sc <- sparkR.init(sparkHome = "/usr/local/spark",
                  sparkEnvir = sparkEnvir)
# initializing SQL context
sqlContext <- sparkRSQL.init(sc)
于 2020-11-28T11:41:30.650 回答