0

我在 Hortonworks Data Platform 2.1（沙盒）上安装了 rhdfs 和 rmr2 软件包，并在分配了 8 GM RAM 的 64 位 VM 单节点上。当我尝试运行以下非常简单的 RHadoop 作业时，它将永远无法完成（尽管在增加了 yarn.nodemanager.resource.memory-mb 和 yarn.scheduler.maximum- 的值后没有遇到运行时错误分配-mb 从默认值到 4096）：

from.dfs(mapreduce(to.dfs(1:100)))

感谢有关如何使底层 HDP 完成如此简单的 RHadoop 作业的任何建议。

为了确保我的 HDP 在安装 RHadoop 后仍然正常工作，我已经确认：

mapred job -kill job_my_rhadoop_job_id
yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.4.0.2.1.1.0-385.jar pi 16 100000
Job Finished in 70.457 seconds
Estimated value of Pi is 3.14157500000000000000
4

1 回答 1

0

由于我在 HDP 上运行 RHadoop 没有成功，我转而在 HDP 上运行 H2O，以及远程连接到 H2O 的 RStudio/R。这种组合似乎与我的虚拟机所拥有的效果很好。因此，在我个人看来，避免在 HDP 之上使用 RHadoop。

于 2014-10-24T17:32:36.890 回答