4

我已经尝试了几个关于在 Windows 环境中设置 Spark 和 Hadoop 的教程，尤其是在 R 环境中。 当我点击图 9 时，这个导致了这个错误：

在此处输入图像描述

Rstudio 的本教程也给了我一些问题。当我到达

sc <- spark_connect(master = "local")

一步，我得到这个熟悉的错误：

Error in force(code) : 
  Failed while connecting to sparklyr to port (8880) for sessionid (1652): Gateway in port (8880) did not respond.
    Path: C:\Users\jvangeete\spark-2.0.2-bin-hadoop2.7\bin\spark-submit2.cmd
    Parameters: --class, sparklyr.Backend, "C:\Users\jvangeete\Documents\R\win-library\3.3\sparklyr\java\sparklyr-2.0-2.11.jar", 8880, 1652


---- Output Log ----
The system cannot find the path specified.

---- Error Log ----

这个端口问题与我在尝试分配"yarn-client"内部参数时遇到的问题相似，当我spark_connect(...)从 Zaidi 女士的教程中尝试时，here。（那个教程有它自己的问题，我已经把它放在一个板上，如果有人感兴趣的话。）

如果我首先安装 Ubuntu VM ，TutorialsPoint演练可以让我顺利完成，但我使用的是 Microsoft R(RO)，所以我想在 Windows 中解决这个问题，尤其是因为 Emaait 先生似乎在第一个教程能够运行我无法使用的命令.\bin\sparkR。

大多数情况下，我试图了解如何在 Windows 中使用最好的 sparklyr 安装和运行 Spark 和 R。

更新1：这是目录中的内容：

在此处输入图像描述

更新 2：这是我的 R 会话和系统信息

platform       x86_64-w64-mingw32          
arch           x86_64                      
os             mingw32                     
system         x86_64, mingw32             
status                                     
major          3                           
minor          3.1                         
year           2016                        
month          06                          
day            21                          
svn rev        70800                       
language       R                           
version.string R version 3.3.1 (2016-06-21)
nickname       Bug in Your Hair

在此处输入图像描述

4

1 回答 1

0
  1. 从http://spark.apache.org/downloads.html下载 spark_hadoop tar
  2. 从 carn 安装 sparklyr 包
  3. spark_install_tar(tarfile = "path/to/spark_hadoop.tar")

如果仍然出现错误，请手动解压缩 tar 并将 spark_home 环境变量指向 spark_hadoop 解压缩路径。

然后尝试在 R 控制台中执行以下命令。库（sparklyr）sc <- spark_connect（master = “local”）。

于 2017-05-11T05:24:54.447 回答