0

当我尝试在 Cloud Dataproc 集群（版本 0.2）上使用 SparkR 时，我收到如下错误：

Exception in thread "main" java.io.FileNotFoundException:
/usr/lib/spark/R/lib/sparkr.zip (Permission denied)
at java.io.FileOutputStream.open0(Native Method)
at java.io.FileOutputStream.open(FileOutputStream.java:270)
at java.io.FileOutputStream.<init>(FileOutputStream.java:213)
at
org.apache.spark.deploy.RPackageUtils$.zipRLibraries(RPackageUtils.scala:215)
at
org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(SparkSubmit.scala:371)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:153)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我该如何解决这个问题，以便我可以使用 SparkR？

4

1 回答 1

4

此问题是由 Spark 1.5 系列（此处为 JIRA）中的错误引起的。要解决此问题，请通过 SSH 连接到主节点或使用初始化操作在主节点上运行以下命令。

sudo chmod 777 /usr/lib/spark/R/lib

此问题应该在 Spark 1.6 中得到修复，Cloud Dataproc 最终将在未来的新映像版本中支持该问题。

于 2016-01-05T16:26:39.420 回答