问题标签 [rhadoop]

我在 Rhadoop 中运行以下代码：

但是，我收到以下错误：

有谁知道问题是什么？非常感谢。

我正在尝试使用 Amazon EMR 上的 Rstudio 中的 rmr 包将数据帧从 R 写入 HDFS。我正在关注的教程是 http://blogs.aws.amazon.com/bigdata/post/Tx37RSKRFDQNTSL/Statistical-Analysis-with-Open-Source-R-and-RStudio-on-Amazon-EMR

我写的代码是

我正在关注此代码教程： https ://github.com/awslabs/emr-bootstrap-actions/blob/master/R/Hadoop/examples/biganalysiss_example.R

Tha hadoop 版本是 Cloudera CDH5。我还适当地设置了环境变量。

在运行上述代码时，我收到以下错误：

我无法弄清楚这个问题的解决方案。如果有人能迅速提供帮助，将不胜感激。

我正在尝试使用 RHadoop 并行化我的程序。在使用 rmr 库中的 mapreduce 后，我正在使用闪亮的服务器来绘制我的数据。

mapreduce 脚本在 R 中运行良好，我在从 shinyserver 调用 mapreduce 脚本时遇到了问题。我的问题类似于此链接中给出的问题：https ://github.com/rstudio/shiny/issues/592

我是 Hadoop 和 RHadoop 的新手。因此，尝试使用 RHadoop 对 Mapreduce 结构中的数据进行排序。但我无法对数据进行排序。代码如下。任何人都可以帮我找出我在哪里犯了错误。尝试这个问题的原因是想知道如何定义键变量和值变量。

非常感谢！

我刚开始集成 RHadoop。它是与 Hadoop 集成的 R-studio 服务器，但在运行 map-reduce 作业时出现错误。当我运行以下代码行时。

堆栈跟踪：

我搜索了很多来解决这个问题，但还没有找到解决方案。由于我是 RHadoop 新手，所以我遇到了这个问题。可以，请任何人帮助我解决这个问题，我将非常感谢。

我已经在 Hortonwork VM 中安装了 RHADOOP。当我运行 mapreduce 代码来验证它是否抛出错误说

我将用户用作：rstudio（不是root。但可以访问sudoer）

流式传输命令失败！

任何人都可以帮助我理解这个问题。我对解决 thios 问题没有太多想法。

我收到错误，下面是 rhadoop 中的错误

实际上我正在尽我所能与 R 集成，但我得到了这个错误。

包 'rmr'、'rJava'、'RJSONIO'、'rhdfs'、'rhbase'、'plyrmr' 不可用（对于 R 版本 3.1.3）

将 Hadoop 与 R 集成的步骤：

在 ubuntu 中安装了 R 和 Hadoop。

在 ~/.bashrc 文件中添加这三行。

*export HADOOP_PREFIX=/Users/hadoop/hadoop-1.1.2

导出 HADOOP_CMD=/Users/hadoop/hadoop-1.1.2/bin/hadoop

导出 HADOOP_STREAMING=/Users/hadoop/hadoop-1.1.2/contrib/streaming/hadoop-streaming-1.1.2.jar*

使用此命令安装的 R 包

但我得到了上述错误。如何集成 R 和 Hadoop 的主要问题是什么。我已按照此链接进行集成。

为什么 R 没有连接到 Hadoop？

我正在使用 R 使用“rhdfs”包连接到 HDFS。安装了“rJava”包并加载了 rhdfs 包。

HADOOP_CMD 环境变量在 R 中使用：

但是当给出 hdfs.init() 函数时，会产生以下错误信息：

此外，加载了“rmr2”库，并输入了以下代码：

这产生了下面给出的消息：

R-Hadoop 软件包只能由“root”用户访问，而不是“hduser”（Hadoop 用户），因为它们是在“root”用户运行 R 时安装的。

为什么 R Mapreduce 库“rmr2”会生成警告消息？

我已经安装了“rmr2”库来在 R 中执行 Mapreduce 程序。但是当

在 R 中指定，它会生成以下警告消息：

可能是什么原因 ？

1. 区域服务器在哪里？是数据节点还是区域服务器，区域存在于不同的硬件中。

2. WAL 是否由表的数据和操作组成？

3. memstore 是做什么的？它与数据一起存储了 WAL 的数据？

4. 动物园管理员实际上是做什么的？