问题标签 [sparkr]

当我像下面打开 sparkR shell 时，我能够成功运行作业

而当我在加载 sparkR shell 时包含包 spark-csv 时，作业失败

我收到上述错误。有什么建议么？谢谢。

我没有使用任何集群。我已经设置

我的操作系统版本是 Windows 8 Enterprise、Spark 1.4.1、Scala 2.10.1、Spark-csv 2.11:1.0.3/2.10:1.0.3

elasticsearch-hadoop-2.1.0.rc1.jar我正在尝试使用jar 文件（在此处找到）将 SparkR 1.4.0 连接到 Elasticsearch 。它需要一些黑客攻击，调用该SparkR:::callJMethod函数。我需要jobj为几个 Java 类获取一个 R 对象。对于某些课程，这有效：

但对其他人来说，它不会：

产生错误：

org.elasticsearch.*即使我尝试将它们与命令行--jars参数和函数一起包含在内， Java 似乎也没有找到这些类sparkR.init(sparkJars = ...)。

任何帮助将不胜感激。此外，如果这是一个更适合实际 SparkR 问题跟踪器的问题，有人可以指点我吗？我看了看，没能找到。另外，如果有人知道另一种连接方式SparkR，Elasticsearch我也很乐意听到。

谢谢！本

因此，我使用链接上给出的步骤安装了 SparkR：“ https://amplab-extras.github.io/SparkR-pkg/ ”。我已经使用网站上给出的直接命令从 Github 存储库安装了它。现在，这是我的代码：

igraph现在，当我直接使用该库时，这段代码工作得非常好（在 RStudio 中没有 SparkR 命令） 。但是现在，当我执行它时，它说，Error in FUN(X[[i]], ...) : could not find function "graph.edgelist". 这可能是什么原因？我试过把它includePackage放在几个地方，但似乎没有帮助。请帮忙！谢谢。

在 R 中，我们使用 rbind() 绑定两个数据帧，例如） rbind(X , Y) 我们如何在 Spark 1.4 中的 SparkR 中做同样的事情

TIA，阿伦

我正在尝试在我的 Windows 7 R Studio 版本上安装 SparkR 包。

到目前为止，我得到了最新版本的 R (3.2.0)。R 工作室 (0.98.1103)。之后，我查看了不同的来源以了解如何安装 SparkR。

之后我首先安装“devtools”和 Rtools (3.3)。但现在我没有得到任何进一步的。

当我尝试使用其中之一时

我明白了

我尝试手动安装软件包，但这也不起作用。

你知道我忘记了什么吗？

经过漫长而艰难的 SparkR 安装过程，我遇到了启动 SparkR 的新问题。

我的设置

现在我尝试在 R 中使用以下代码：

我收到以下信息：

我还尝试添加一些系统变量，例如 spark 路径或 java 路径。

你对我解决这些问题有什么建议吗？

在测试本地主机之后，我的下一步是在我正在运行的 hadoop 集群上开始测试。

我有一个 SparkR 数据框，其中所有列都是整数。我想用字符串替换一列。

因此，如果该列包含 0、1、1、0，我想将其设为“否”、“是”、“是”、“否”。

我试过了

但这只是给了我

我将如何进行此更新？

PS我基于上面的尝试这个事实：

在 SparkR shell 中，我想生成一个链接以在 Yarn 模式下查看 Spark UI。通常，Spark UI 位于端口 4040，但在 Yarn 模式下，它显然位于类似[host]:9046/proxy/application_1234567890123_0001/的位置，其中路径的最后一部分是唯一的 applicationId。

其他 SO 答案显示了如何获取Scala和Python shell 的 applicationID。我们如何从 SparkR 中获取 applicationID？

作为黑暗中的刺，我尝试过SparkR:::callJMethod(sc, "applicationId")，但没有奏效。

我也尝试了一些类似的东西system("yarn application -list")，但这似乎不适用于 RStudio，并且还有其他限制。

有谁知道如何在 SparkR 1.4.0 版中读取文本文件？有没有可用的 Spark 包？

我有最后一个版本的 R - 3.2.1。现在我想在 R 上安装 SparkR。执行后：

我回来了：

我还在我的机器上安装了 Spark

我该如何解决这个问题？