r - 初始化 sparkR 时出错：10 秒后 JVM 未准备好

Question

我目前正在使用 sparkR 测试一个应用程序。这是我的平台和应用程序详细信息：

平台：Windows server 2008 SparkR 版本：R 版本 3.1.2 (2014-10-31) Spark 版本：1.4.1 版

我做了什么？

第 I 步：将包加载到 R 环境中

图书馆（SparkR）——工作

第二步：设置系统环境变量

Sys.setenv(SPARK_HOME = "C:\hdp\spark-1.4.1-bin-hadoop2.6") -- 工作 .libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"),.libPaths()))

第三步：创建 Spark 上下文和 SQL 上下文

sc <- sparkR.init(master = "local",sparkHome = "C:\hdp\spark-1.4.1-bin-hadoop2.6",appName = "TestSparR")

在这一行出现错误，即 10 秒后 JVM 未准备好

请帮我解决这个问题。谢谢。

Answer 1

我有同样的问题，我可以告诉你我尝试了很多很多东西。

但最后，在重新启动我的计算机（顺便说一下 R 和 RStudio）之后，以下内容对我有用：

SPARK_HOME <- "C:\\Apache\\spark-1.5.2-bin-hadoop2.6\\"
Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.2.0" "sparkr-shell"')
library(SparkR, lib.loc = "C:\\Apache\\spark-1.5.2-bin-hadoop2.6\\R\\lib")

library(SparkR)
library(rJava)

sc <- sparkR.init(master = "local", sparkHome = SPARK_HOME)

也许这会有所帮助：重新启动系统后，这已包含在我的环境变量 PATH 中：

C:\ProgramData\Oracle\Java\javapath

Answer 2

这对我有用

sparkPath <- 'C:/Users/YOUR PATH'
Sys.setenv(SPARK_HOME=sparkPath)
.libPaths(c(file.path(Sys.getenv('SPARK_HOME'), 'R', 'lib'), .libPaths()))
library(SparkR)
library(sparklyr)
sc <- spark_connect(master='local')