问题标签 [rhadoop]

我在我的 Windows 机器上安装了 RStudio，并在 hadoop 集群的一个节点上安装了 R。我想将 RStudio 连接到该从机并想运行我的 R 脚本。我在该从机上安装了 hadoop 集成所需的所有 R 包。我不能使用基于 Windows 的 R。

我正在尝试使用 Rhadoop 包运行一个简单的 rmr 作业，但它不起作用。这是我的 R 脚本

我在脚本上面运行

我得到以下错误。

请让我知道是什么问题。

我已经使用我的两台笔记本电脑创建了一个多节点 hadoop 集群，并已成功对其进行了测试。之后，我在 hadoop 环境中安装了 RHadoop。安装了所有必要的软件包并设置了路径变量。

然后，尝试运行一个 wordcount 示例，如下所示：

我收到以下错误：

在运行此之前，我创建了两个 hdfs 文件夹wordcount/data并wordcount/out使用命令行将一些文本上传到第一个。

另一个问题是：我的计算机上有两个用户：hduser和master. 第一个是为 hadoop 安装创建的。我想当我打开 R/RStudio 时，我将它运行为master，并且因为 hadoop 是为创建的，hduser所以存在一些导致此错误的权限问题。正如人们可以在输出的 4. 行中看到的那样，系统试图找到master91618435，我怀疑应该是hduser...。

我的问题是，我怎样才能摆脱这个错误？

PS：这是一个类似的问题，但对我没有任何有用的答案

如何使用 Devtools 从 Github 安装 Rhadoop

我基本上想从https://github.com/RevolutionAnalytics/rhdfs安装 rhdfs

但这不起作用

我尝试了以下

和

我正在尝试从 HDFS 读取文本或 gz 文件并运行一个简单的 mapreduce 作业（实际上只有 map 作业），但出现错误，看起来 readLines 部分不起作用。我正在寻找是否可以在 mapreduce 中使用 readLines 函数的答案。附言。如果我只使用 readLines 函数在 mapreduce 作业之外解析 HDFS 文件，则没有问题。谢谢。

我已经安装了 Spark - 1.4.1（有 R 3.1.3 版本）。目前正在测试 SparkR 以运行统计模型。我能够运行一些示例代码，例如，

所以接下来，我将rJava包安装到SparkR. 但它没有安装。给出以下错误。

此外，当我SparkR在 shell 上运行命令时，它作为 32 位应用程序启动。我突出显示了版本信息，如下所示。

所以，请帮我解决这个问题。

当使用 rhadoop（一组用于将 R 与 hadoop 一起使用的包）时，我是否需要将包和 Rscript 单独安装在所有节点中，或者我只需将其安装在主机上？

使用 make.output.format 的 avro 输出格式的示例实现使用“字节”作为模式。相反，我想为 avro 文件指定一个 json 模式。我找不到我们如何做到这一点。我想会有一些 backend.parameters 来定义它。

R-Hadoop mapreduce 中是否有任何方法，类似于 Java mapreduce 中的 setup() 和 cleanup()？在所有减速器启动之前，我必须只运行一次部分代码，例如 db 调用。使用 R 编写 mapreduce 代码时是否有任何规定？

我有一个案例，我将对将从 Hadoop 下载的数据运行 R 代码。然后，R 代码的输出也将上传回 Hadoop。目前，我是手动进行的，我想避免这种手动下载/上传过程。

有没有办法通过连接到 hdfs 在 R 中做到这一点？换句话说，在 R 脚本的开头，它连接到 Hadoop 并读取数据，然后再次将输出数据上传到 Hadoop。有没有可以使用的包？Hadoop 服务器或 R 中需要进行任何更改吗？

我忘了注意重要的部分：R 和 Hadoop 位于不同的服务器上。