7

我已将 Spark 发行版中的 SparkR 包安装到 R 库中。我可以调用以下命令,它似乎工作正常:library(SparkR)

但是,当我尝试使用以下代码获取 Spark 上下文时,

sc <- sparkR.init(master="local")

一段时间后它失败并显示以下消息:

Error in sparkR.init(master = "local") :
   JVM is not ready after 10 seconds

我已经设置了 JAVA_HOME,并且我有一个可以工作的 RStudio,我可以在其中访问其他包,如 ggplot2。我不知道为什么它不起作用,我什至不知道在哪里调查这个问题。

4

4 回答 4

2

我有同样的问题,我的spark-submit.cmd文件也没有从命令行执行。以下步骤对我有用

转到您的环境变量并在系统变量中选择变量名 PATH。与其他值一起添加c:/Windows/System32/以分号分隔。这使我的 spark-submit.cmd 从命令行运行,最终从 Rstudio 运行。

我意识到只有在未指定所有必需的路径值时才会出现上述问题。确保在环境变量中指定了所有路径值(R、Rtools)。例如我的 Rtools 路径是c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

我希望这有帮助。

于 2015-07-29T16:07:14.513 回答
0

我得到了完全相同的错误信息。我的情况有点不同,因为我之前在 RStudio 中成功运行过 SparkR。但是几天后,它不再起作用了。

通过查看 Shivaram Venkataraman 和 Prakash Ponshankaarchinnusamy 之间的转换,我意识到这可能与运行许可有关。

https://issues.apache.org/jira/browse/SPARK-8603

所以我所做的,最终起作用的是,我再次将 spark tar.gz 解压缩到我的 C:/ 文件夹(以前它保存在 D:/ 驱动器中)并且 SparkR WORKS !!!

工作 RStudio 的屏幕截图

于 2016-03-18T18:34:37.670 回答
0

安装 Hadoop 后,再安装 Spark。

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR

于 2016-06-07T17:31:55.177 回答
0

尝试授予执行权限 C:/sparkpath/bin/spark-submit.cmd。这对我有用。

于 2015-08-12T19:40:10.757 回答