0

我按照 michael noll 的教程下载并安装了 hadoop。我还运行了 wordcount 示例。但我看不到相同的输出。当我看到 dfs 中的文件时,我得到了我拥有的所有文件列表

在此处输入图像描述

但是当我 cat 这些文件时,我得到一个错误:

在此处输入图像描述

想知道那里出了什么问题...

4

2 回答 2

1

您尝试在 HDFS 中查找的文件是一个目录(标志列显示drwxr-xr-x)。Hadoop 作业通常会将其结果输出到一个目录,每个reducer 一个文件(或者如果您运行没有reducer 的作业,则每个映射器)。

所以 ls 该文件夹的内容,您应该会看到一些 part-r 文件 - 尝试对这些文件进行分类:

bin/hadoop dfs -cat /user/ravi/tempoutput.txt/part-r-*
于 2013-01-27T16:49:39.820 回答
0

运行 wordcount 示例的预期语法是:bin/hadoop jar hadoop-examples-1.0.4.jar wordcount <input_dir> <output_dir>. 您的 wordcount 可能没有处理任何数据,因此您看不到任何结果。尝试运行,bin/hadoop jar hadoop-examples-1.0.4.jar wordcount /user/ravi/inputall /user/ravi/output然后bin/hadoop dfs -ls /user/ravi/output查看结果。

此外,您应该在运行后检查 map reduce yob 执行的详细信息(直接在控制台中或使用 Web 界面)。应该有关于处理的输入记录/字节数的详细信息。您还可以在 Web 浏览器中浏览整个文件系统:http://localhost:50070/dfshealth.jsp

于 2013-01-27T21:02:17.473 回答