问题标签 [rhadoop]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
r - RHadoop：所需的 REDUCE 能力超过集群中支持的最大容器能力
在沙盒 Hadoop (Cloudera5.1/Hortonworks2.1) 之上的 R (build 1060) 中是否有类似的问题？这似乎是新 R/Hadoop 的问题，因为在 CDH5.0 上它可以工作。
代码：
错误：
似乎问题出在reduceResourceReqt：4096 maxContainerCapability：1024。我试图改变：yarn-site.xml，但它没有帮助。:(
请帮忙...
hadoop - 配置环境。RStudio 的变量 HADOOP_STREAMING
我已经在 Horton Hadoop 上安装了 RStudio 3.1。
目前我的 Hadoop Streaming 环境变量是使用这个路径设置的 export HADOOP_STREAMING=/usr/lib/hadoop-mapreduce/hadoop-streaming.jar
使用 RStudio 执行简单的 mapreduce 时出现错误
hadoop.streaming() 中的错误：请确保 env. 变量 HADOOP_STREAMING 已设置
谁能告诉我 hadoop-streaming jar 文件的正确路径是什么？谢谢。
hortonworks-data-platform - Hortonworks Data Platform 2.1（沙盒）无法完成非常简单的 RHadoop 作业
我在 Hortonworks Data Platform 2.1（沙盒）上安装了 rhdfs 和 rmr2 软件包，并在分配了 8 GM RAM 的 64 位 VM 单节点上。当我尝试运行以下非常简单的 RHadoop 作业时，它将永远无法完成（尽管在增加了 yarn.nodemanager.resource.memory-mb 和 yarn.scheduler.maximum- 的值后没有遇到运行时错误分配-mb 从默认值到 4096）：
感谢有关如何使底层 HDP 完成如此简单的 RHadoop 作业的任何建议。
为了确保我的 HDP 在安装 RHadoop 后仍然正常工作，我已经确认：
r - rhdfs 库不起作用
我正在尝试将 hadoop 与 R 一起使用到 cloudera 虚拟机中。我将 rhdfs 库加载到 R 中并且运行良好，但是当我尝试执行 hdfs.init() 时，这不起作用并给我以下错误：
这是我的代码：
Sys.setenv("HADOOP_CMD"="/usr/lib/hadoop/bin/hadoop") Sys.setenv("HADOOP_STREAMING"="/usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.5 .0-mr1-cdh5.2.0.jar") Sys.setenv("HADOOP_HOME"="/usr/lib/hadoop") Sys.setenv("HADOOP_CONF_DIR"="/etc/hadoop/conf")
库（rhdfs）加载所需的包：rJava
HADOOP_CMD=/usr/lib/hadoop/bin/hadoop
确保运行 hdfs.init() hdfs.init() 14/12/11 05:55:21 错误 security.UserGroupInformation: Unable to find JAAS classes:com.sun.security.auth.UnixPrincipal not found in gnu.gcj .runtime.SystemClassLoader{urls=[file:/home/cloudera/R/x86_64-redhat-linux-gnu-library/3.1/rJava/java/boot/], parent=gnu.gcj.runtime.ExtensionClassLoader{urls=[ ], parent=null}} 14/12/11 05:55:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Error in .jcall("RJavaTools" , "Ljava/lang/Object;", "invokeMethod", cl, : java.io.IOException: 登录失败
r - 在 Hadoop 上运行 wordcount R 示例代码时出错
R字数示例代码：
当我执行 R 代码的最后一条语句时，它会给出以下错误消息。
报错后显示：
和
在 HDFS 中创建了输出文件夹，但没有生成任何结果。知道可能导致问题的原因吗？
更新1：
我在 localhost:8042 发现了 Hadoop 为特定作业提供的错误日志
任何人都知道问题是什么？
更新 2：
我在 $HADOOP_HOME/logs/userlogs/[application_id]/[container_id]/stderr 找到了额外的日志信息：
rhadoop - RHDFS 输出中的字符串字符
rhdfs 中的 hdfs.write() 命令创建一个带有前导非 unicode 字符的文件。该文档没有描述正在写入的文件类型。
重新创建的步骤。1.打开R，初始化rhdfs
创建一个名为“brian.txt”的文件，我可以预期它包含一个字符串“hi”。但这在开始时揭示了额外的特征。
我不知道创建了什么文件类型并且 rhdfs 不显示任何文件类型选项。这使得输出非常难以使用。
r - 无法为 Rhadoop 安装 rmr2
我在安装 rmr2 时遇到问题。
我正在遵循这些说明：https ://github.com/RevolutionAnalytics/RHadoop/wiki/user%3Ermr%3EHome
其中 rmr2 安装是第 4 步。
我已经安装了软件包：
并设置环境。变量：
我现在在终端中运行：
他们每个人都返回：
- 安装到库
/Library/Frameworks/R.framework/Versions/3.1/Resources/library - 正在安装源包 'rmr2' ... ** libs sh: make: command not found ERROR: 包 'rmr2' 的编译失败</li>
r - hadoop 流式传输失败，错误代码为 5
用于字数统计的 RHadoop 程序：
请帮助我解决错误。我是 R 和 hadoop 的新手。我无法确定我哪里出错了。
r - 如何修改 R 程序以支持 RHadoop
我是 RHadoop 和 R 的新手。我有一个普通的 R 程序，它有一个库（Methylkit）。我想知道有人可以就如何在 hadoop 上运行这个 R 程序提供一些见解。我需要在原始 R 程序中修改什么？如果有人给我一些想法，那将真的很有帮助。
编码：
r - R将大型CSV文件转换为HDFS
我目前正在使用 R 进行分析。
我有大量的 CSV 文件，它们都具有我想使用 R 处理的相同标题。我最初将每个文件顺序读入 R 并将它们绑定在一起，然后再一起执行分析。
需要读入的文件数量正在增长，因此将它们全部保存在内存中以对数据进行操作变得不可行。
我可以在不使用 R 的情况下将所有 CSV 文件组合在一起，因此不会将其保存在内存中。这留下了一个巨大的 CSV 文件，将其转换为 HDFS 是否有意义，以便能够进行相关分析？除此之外......或者单独对每个csv文件进行分析然后最后合并它会更有意义？
我在想可能是一个分布式文件系统，并在亚马逊上使用一组机器来有效地进行分析。
看rmr 这里，它将数据转换为 HDFS，但显然对于真正的大数据来说并不令人惊讶......如何以一种允许有效分析的方式转换 csv？