问题标签 [rhadoop]

在沙盒 Hadoop (Cloudera5.1/Hortonworks2.1) 之上的 R (build 1060) 中是否有类似的问题？这似乎是新 R/Hadoop 的问题，因为在 CDH5.0 上它可以工作。

代码：

错误：

似乎问题出在reduceResourceReqt：4096 maxContainerCapability：1024。我试图改变：yarn-site.xml，但它没有帮助。:(

请帮忙...

我已经在 Horton Hadoop 上安装了 RStudio 3.1。

目前我的 Hadoop Streaming 环境变量是使用这个路径设置的 export HADOOP_STREAMING=/usr/lib/hadoop-mapreduce/hadoop-streaming.jar

使用 RStudio 执行简单的 mapreduce 时出现错误

hadoop.streaming() 中的错误：请确保 env. 变量 HADOOP_STREAMING 已设置

谁能告诉我 hadoop-streaming jar 文件的正确路径是什么？谢谢。

我在 Hortonworks Data Platform 2.1（沙盒）上安装了 rhdfs 和 rmr2 软件包，并在分配了 8 GM RAM 的 64 位 VM 单节点上。当我尝试运行以下非常简单的 RHadoop 作业时，它将永远无法完成（尽管在增加了 yarn.nodemanager.resource.memory-mb 和 yarn.scheduler.maximum- 的值后没有遇到运行时错误分配-mb 从默认值到 4096）：

感谢有关如何使底层 HDP 完成如此简单的 RHadoop 作业的任何建议。

为了确保我的 HDP 在安装 RHadoop 后仍然正常工作，我已经确认：

我正在尝试将 hadoop 与 R 一起使用到 cloudera 虚拟机中。我将 rhdfs 库加载到 R 中并且运行良好，但是当我尝试执行 hdfs.init() 时，这不起作用并给我以下错误：

这是我的代码：

Sys.setenv("HADOOP_CMD"="/usr/lib/hadoop/bin/hadoop") Sys.setenv("HADOOP_STREAMING"="/usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.5 .0-mr1-cdh5.2.0.jar") Sys.setenv("HADOOP_HOME"="/usr/lib/hadoop") Sys.setenv("HADOOP_CONF_DIR"="/etc/hadoop/conf")

库（rhdfs）加载所需的包：rJava

HADOOP_CMD=/usr/lib/hadoop/bin/hadoop

确保运行 hdfs.init() hdfs.init() 14/12/11 05:55:21 错误 security.UserGroupInformation: Unable to find JAAS classes:com.sun.security.auth.UnixPrincipal not found in gnu.gcj .runtime.SystemClassLoader{urls=[file:/home/cloudera/R/x86_64-redhat-linux-gnu-library/3.1/rJava/java/boot/], parent=gnu.gcj.runtime.ExtensionClassLoader{urls=[ ], parent=null}} 14/12/11 05:55:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Error in .jcall("RJavaTools" , "Ljava/lang/Object;", "invokeMethod", cl, : java.io.IOException: 登录失败

R字数示例代码：

当我执行 R 代码的最后一条语句时，它会给出以下错误消息。

报错后显示：

和

在 HDFS 中创建了输出文件夹，但没有生成任何结果。知道可能导致问题的原因吗？

更新1：

我在 localhost:8042 发现了 Hadoop 为特定作业提供的错误日志

任何人都知道问题是什么？

更新 2：

我在 $HADOOP_HOME/logs/userlogs/[application_id]/[container_id]/stderr 找到了额外的日志信息：

rhdfs 中的 hdfs.write() 命令创建一个带有前导非 unicode 字符的文件。该文档没有描述正在写入的文件类型。

重新创建的步骤。1.打开R，初始化rhdfs

创建一个名为“brian.txt”的文件，我可以预期它包含一个字符串“hi”。但这在开始时揭示了额外的特征。

我不知道创建了什么文件类型并且 rhdfs 不显示任何文件类型选项。这使得输出非常难以使用。

我在安装 rmr2 时遇到问题。

我正在遵循这些说明：https ://github.com/RevolutionAnalytics/RHadoop/wiki/user%3Ermr%3EHome

其中 rmr2 安装是第 4 步。

我已经安装了软件包：

并设置环境。变量：

我现在在终端中运行：

他们每个人都返回：

• 安装到库/Library/Frameworks/R.framework/Versions/3.1/Resources/library
• 正在安装源包 'rmr2' ... ** libs sh: make: command not found ERROR: 包 'rmr2' 的编译失败</li>

用于字数统计的 RHadoop 程序：

请帮助我解决错误。我是 R 和 hadoop 的新手。我无法确定我哪里出错了。

我是 RHadoop 和 R 的新手。我有一个普通的 R 程序，它有一个库（Methylkit）。我想知道有人可以就如何在 hadoop 上运行这个 R 程序提供一些见解。我需要在原始 R 程序中修改什么？如果有人给我一些想法，那将真的很有帮助。

编码：

我目前正在使用 R 进行分析。

我有大量的 CSV 文件，它们都具有我想使用 R 处理的相同标题。我最初将每个文件顺序读入 R 并将它们绑定在一起，然后再一起执行分析。

需要读入的文件数量正在增长，因此将它们全部保存在内存中以对数据进行操作变得不可行。

我可以在不使用 R 的情况下将所有 CSV 文件组合在一起，因此不会将其保存在内存中。这留下了一个巨大的 CSV 文件，将其转换为 HDFS 是否有意义，以便能够进行相关分析？除此之外......或者单独对每个csv文件进行分析然后最后合并它会更有意义？

我在想可能是一个分布式文件系统，并在亚马逊上使用一组机器来有效地进行分析。

看rmr 这里，它将数据转换为 HDFS，但显然对于真正的大数据来说并不令人惊讶......如何以一种允许有效分析的方式转换 csv？