问题标签 [rhadoop]

我需要帮助，因为我试图从过去 2-3 天解决这个问题..

我正在Windows-7 (64-bit) 机器上设置 Hadoop。这是为了尝试 R 与 Hadoop 的集成。

我按照 URL 中给出的 Hadoop 安装说明进行操作 - http://www.srccodes.com/p/article/38/build-install-configure-run-apache-hadoop-2.2.0-microsoft-windows-os

环境变量如下 JAVE_HOME : C:\Program Files\Java\jdk1.6.0_45 M2_HOME : C:\Hadoop\apache-maven-3.1.1 PATH : C:\cygwin64\bin;C:\Hadoop\apache-maven -3.1.1\bin;C:\Hadoop\protoc-2.5.0-win32

mvn package -Pdist,native-win -DskipTests -Dtar

我从 Windows SDK 7.1 命令提示符运行了上面的命令，并在下面出现错误......非常感谢早期帮助......

提前感谢戈帕尔

我真的只是想从社区的大脑中寻找一些线索来弄清楚我遇到的问题是怎么回事。

我正在使用 RHadoop (rmr2, v3.0.0) 编写 MR 作业，一切都很棒——带有 HDFS 的 IO、映射、减少。没问题。生活是美好的。

我正在尝试使用 Apache Oozie 安排工作，但遇到了一些问题：

Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce, : hadoop streaming failed with error code 1

我已经阅读了 rmr2 调试指南，但没有任何东西真正到达 stderr，因为作业在任何安排之前就失败了。

在我看来，一切都指向环境的不同。但是，Oozie 以我能够通过 cli 运行所有内容的同一用户身份运行该作业，并且所有 R 环境变量（使用 获取Sys.getenv()）都是相同的，除了 Oozie 设置了一些额外的类路径内容。

我可以发布更多的操作系统或 Hadoop 版本和配置详细信息，但是侦查一些特定于版本的错误似乎有点像红鲱鱼，因为一切都在命令行上运行良好。

任何人有什么想法可能有助于追捕这只野兽的下一步？

更新：

我重写了system基本包中的函数来记录用户、节点的主机名以及在内部调用系统之前正在执行的命令。因此，在实际执行任何系统调用之前，我在标准错误中得到如下内容： user@host.name /usr/bin/hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming-2.2.0.2.0.6.0-102.jar ...

使用 Oozie 运行时，stderr 中打印的命令失败，退出状态为 1。当我在 上运行命令时user@host.name，它运行成功。因此，本质上，在 SAME 节点上使用 SAME 用户的 EXACT 相同命令在 Oozie 中失败，但从 cli 成功运行。

感谢您考虑回答这个问题。

我是 RHadoop 的新手。

我已经在 Windows 7 64 位机器上安装了 Hadoop 2.3.0 单节点集群。我可以成功运行 map-reduce 示例，例如 pi、wordcount。

随后，我在 R 版本 3.0.2 中成功安装了 rhadoop 包 rmr-3.0.0（在 Windows 上使用 rmr2_3.0.0.zip）和 rhdfs-1.0.8（在 Windows 上使用 rhdfs_1.0.8.zip）。

现在，当我尝试运行 RHadoop 教程中描述的简单示例（我的第一个 Map Reduce 作业）时，我收到如下所述的错误。

在发出命令时

我收到以下消息：

14/03/21 19:22:30 WARN zlib.ZlibFactory：无法加载/初始化本机 zlib 库 14/03/21 19:22:30 INFO compress.CodecPool：得到全新的压缩器 [.deflate] 警告消息：在 to.dfs(1:1000) 中：使用 NULL 键将 to.dfs 参数转换为 keyval

但是，当我使用命令检查结果时

我得到了预期的输出，表明上一个命令可能已经成功运行。但是，我不明白关于 zlib 库的警告。我也不知道如何解决它。

接下来，我发出命令

此命令未成功运行，我收到一条失败消息。日志复制如下。

我不明白如何修复日志中出现的运行时异常。

在这方面的任何帮助将不胜感激。

提前致谢。

获取Hadoop的本地测试实例貌似有点熊配置，参考了下面的很清楚，但还是很复杂的参考：

• http://www.slideshare.net/ChicagoHUG/getting-started-with-r-hadoop-chug-20120815
• http://home.mit.bme.hu/~ikocsis/notes/2013/10/28/rhadoop-sandbox-with-the-cloudera-quickstart-vm/
• http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
• https://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

是否有推荐的 VM 包含正确配置的 hadoop-streaming.jar 和 RHadoop？

我需要在我的 Ubuntu 操作系统上安装 RHadoop。当我安装 rmr2 包时，我遇到了这个错误

有谁知道出了什么问题？

我需要澄清一下 rmr+rhdfs(Rhadoop) 和 Datastax cassandra(CFS)。目前 rhdfs 和 rmr(to.dfs(),from.dfs()) 中的所有函数都在工作。

但是当我尝试运行 mapreduce() 时，会发生以下错误：

流式传输命令失败！.Hadoop 流式传输失败，错误代码为 1。

另外，它根本没有在 jobtracker.no stderr 中创建任何日志。请帮助我知道原因。

作为一个新手，也许会问一些愚蠢的问题，请提前道歉。我已经在单机集群（Ubuntu 14.04）上安装了 Hadoop，并成功测试了 Apache 安装指南中指定的非常基本的程序。随后我安装了 R、RStudio，以及包 rhdfs、rmr2 和所有依赖项。

然后我尝试运行以下程序：

作业失败，控制台上的输出如下

标准错误日志如下

我尝试了其他一些简单的演示程序，结果是一样的。所以看来问题出在我的配置上。

“功能”包已经安装并正在自动加载。即使手动加载它也无济于事。所以这很可能不是问题。

我将不胜感激地接受任何帮助或建议。

我在 Ubuntu 14.04 上以单集群模式运行 Hadoop 1.2.1、R 3.0.5 和 RStudio 0.98.507 Java 是 Oracle 7 Java 版本 1.7.0_55

Hadoop 安装似乎没问题，因为我的常规 wordcount 程序运行良好。

即使是最简单的 RHadoop演示，我也得到了相同的结果

这可能是我机器容量的问题吗？在稍微高端的笔记本电脑上运行？2.8 GiB 内存和 Intel® Core™ i3-2310M CPU @ 2.10GHz × 4 处理器

我现在已经转移到 Hadoop 2.2.0 并设法使用本教程安装了相同的版本。计算 PI 的演示程序执行无误。

然后我执行了这个非常简单的 MR 程序

程序执行到第 7 行，但在所有重要的 MR 步骤中失败并出现以下错误 [仅显示错误的最后一部分]

真的在我的智慧结束下一步该做什么！

任何关于前进道路的建议都将受到欢迎和承认。我怀疑 RHadoop 可能对 Ubuntu 14.04 还不满意，但这是一个猜测

我第二次发布类似的问题，因为我相信我现在对这个问题有了更准确的看法。

环境：Hadoop 2.2.0 在 Ubuntu 14.04 笔记本电脑上作为单节点集群运行。RStudio 版本 0.98.507、R 版本 3.0.2 (2013-09-25)、Java 版本 1.7.0_55

任何 R（或 Python）程序都可以与位于 /usr/local/hadoop220/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar 的 Hadoop Streaming 实用程序完美配合

当我们使用包“rmr”（RHadoop 的一部分）并从在 RStudio 中运行的 R 程序内部调用 mapreduce() 时会出现错误。

为了简化这篇文章，我展示了一个非常简单的失败程序（其他更大的程序失败并显示相同的错误消息）

R-Studio 控制台上显示的错误是

我用谷歌搜索了两个恼人的警告（a）禁用堆栈保护，并从这个链接中发现“没什么好担心的”只是一个警告（b）无法为您的平台加载本机 hadoop 库......使用内置-适用的java类..根据此链接，这也是一个警告，无需担心

在将这两个警告视为不是原因之后，我发现的主要错误就在这里

我已经重新安装了 RHadoop 包、rmr 和 rhdfs，并且还重新安装了 rJava。过去也尝试过使用 Hadoop 1.3，但错误相同。

如果有人能就此提出一些建议，将不胜感激

我正在使用hadoop来自ElasticSearch（无 hdfs）的数据库。不知道elasticsearch-hadoop能不能合作？否则你知道如何为我的项目使用分析吗？

我是 RHadoop 和 RMR 的新手……我需要在 R Mapreduce 中编写 Mapreduce 作业。我试过写，但是在执行这个时，它给出了一个错误。我正在尝试从hdfs.

我知道如何在 R 中做到这一点：output <- lm(cnt~temp+hum,data)
我试图实现下面的代码，但它抛出了这个错误......

错误：

代码：

输入：