问题标签 [rmr2]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
58 浏览

r - 带有 CSV 文件 rmr2 的 MapReduce - HDFS 中的断列失败

使用 rmr2 执行 MapReduce 时,我遇到了 HDFS 中的 CSV 数据集的问题。

只有 1 个文件,MapReduce 工作正常,没有发现错误,但是当同一文件夹中有 2 个或更多数据集时,数据开始中断,结果开始中断,如下所示:

错误截图

从第 16 行开始,错误开始并一直持续到文件末尾。

使用的 MapReduce 是:

有没有人遇到过类似的问题并可以提供帮助?

谢谢,布鲁诺

0 投票
1 回答
489 浏览

r - 如何在 R 3.3.2 上安装 Rhadoop?

我尝试了 Jinith 提到的以下内容:

如何安装 RHadoop 包(Rmr、Rhdfs、Rhbase)?

但我得到了这个例外:

“将包安装到'/home/user/R/x86_64-pc-linux-gnu-library/3.2'(因为'lib'未指定)警告:无效包'/home/user/Downloads/rmr2_3.3.2.tar。 gz' 错误:错误:未指定包 install.packages 中的警告:安装包 '/home/user/Downloads/rmr2_3.3.2.tar.gz' 的退出状态非零”

我不知道我该怎么办... :(

0 投票
0 回答
52 浏览

r - R Hadoop 计数

我是 R 新手,我对 MapReduce rmr2 有疑问。我有一个要读取的文件,在每一行中,都有一个日期和一些单词 (A,B,C..):

我想在输出中获得类似的东西:

我用java实现做了同样的问题,现在我必须在R代码中做同样的事情,但我必须弄清楚如何做我的Reducer。有一种方法可以在我的 mapper 和 Reduce 代码中进行一些打印,因为在 Mapper 或 Reduce 中使用 print 命令,我在 RStudio 中得到一个错误

0 投票
0 回答
72 浏览

r - 不是一个有效的罐子

我是 R 编程的新手。

我在设置所有环境变量后使用下面的代码。所有连接都运行良好,但在to.dfs下面执行时出现错误。

请指导我。

我收到错误消息:

不是有效的 JAR:/usr/local/hadoop/share sh:2:hadoop/tools/lib/hadoop-streaming-2.6.0.jar:未找到

0 投票
1 回答
28 浏览

scalability - 在减少阶段使用 R 函数

我正在尝试找到数据框的相关系数并完美地工作。

使用 cor() 从数据帧中查找相关系数是否有问题,或者为大数据实现此代码是否很好?