0

我编写了几个 RHadoop 程序，即使它们返回警告，它们也能正常工作，例如：

Converting to.dfs argument to keyval with a NULL key

使用 to.dfs 输入数据时。

但是，有些程序会在没有警告的情况下致命地失败，除了

Converting to.dfs argument to keyval with a NULL key

其次是

ERROR streaming.StreamJob: Job not successful. Error: # of failed Map Tasks exceeded allowed limit. FailedCount: 1.

NULL 键警告通常与失败的 Map 任务相关联吗？

我知道标准的建议是查看标准错误，但失败作业的标准错误是空的！零行，零个字符。

4

2 回答 2

1

我认为这个问题是关于流媒体的，当这个问题出现时，我在我的 R 终端中使用了这条线，它可以帮助你 Sys.setenv(HADOOP_HOME='/usr/lib/hadoop-0.20-mapreduce') Sys.setenv(HADOOP_CMD=' /usr/bin/hadoop') Sys.setenv(HADOOP_STREAMING='/usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.0.0-mr1-cdh4.1.1.jar')

流媒体可能因您的 jar 文件而异。例如 /usr/lib/hadoop/contrib/streaming/hadoop-streaming-1.0.2.jar 是我的 jar ...您可以通过您的路径进行检查。

于 2014-03-11T12:38:36.503 回答
1

据我所知，

使用 NULL 键将 to.dfs 参数转换为 keyval

是一个常见的警告，它不会使工作失败。

您是否尝试使用 from.dfs 命令获取使用 to.dfs 命令存储的数据以查看它是否有效？如果是这样，问题可能就在其他地方。

于 2013-12-19T14:10:40.080 回答